在学习Hadoop开始,便被告知官网只提供了32位系统的安装文件,如果要在64位系统中运行,那就得自己重新编译安装文件;
前段时间一直在学习怎么样安装使用Hadoop,先把编译64位的安装文件忽略了,等到对Hadoop熟悉之后再学习会更省时间,还不错,跟预想的一样。
下面就介绍一下怎么样编译64位的安装文件
系统环境
OS:RedHat6.5 64bit企业版
JDK:1.8.0_20 64bit
硬件:虚拟机
1、 前期准备
作为一个屌丝开发程序员,看到源码中的pom.xml之后就轻松了下来,这不就是maven构建的项目吗!赶紧的安装maven
#tar -xvzf /usr/apache-maven-3.3.3-bin.tar.gz -C /usr
#vim /etc/profile
export MAVEN_HOME=/usr/maven/apache-maven-3.3.3
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
#source /etc/profile
maven安装完成之后我以为可以了,直接用mvn -install进行编译,这时候才知道我是个菜鸟啊,居然报错了!!! 凭借着屌丝精神在百度找到了正解,还需要安装protobuf, 好吧,在csdn上下载到源码 protobuf-2.5.0.tar.gz
#tar -xvzf /usr/protobuf-2.5.0.tar.gz -C /usr
进入到protobuf-2.5.0根路径下
依次执行
./configure
make
make check
make install
在执行./configure就报错了,为什么呢?一看日志明白了少依赖库啊
configure: error: C++ preprocessor "/lib/cpp" fails sanity check
那我就安装,通过
#yum install glibc-headers
# yum install gcc-c++
安装好依赖库再执行
./configure
make
make check
make install
顺利完成
2-编译源码
# mvn package -Pdist,native -DskipTests -Dtar --不生成文档
# mvn package -Pdist,native,docs,src -DskipTests -Dtar --生成文档,需要安装findbugs,并设置FINDBUGS_HOME环境变量
[ERROR] around Ant part ...<exec dir="/usr/local/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/native" executable="cmake" failonerror="true">... @ 4:151 in /usr/local/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml
解决:
yum install cmake
[ERROR] around Ant part ...<exec dir="/usr/local/hadoop-2.7.1-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake" failonerror="true">... @ 5:131 in /usr/local/hadoop-2.7.1-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
解决
yum install openssl-devel
[ERROR] around Ant part ...<exec dir="/usr/local/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/native" executable="cmake" failonerror="true">... @ 4:141 in /usr/local/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml
解决:
yum -y install zlib-devel
yum -y install ncurses-devel
相关推荐
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
Hadoop 学习笔记.md
hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念
hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb
win 7 64上编译 Hadoop 2.7.3 源码 的真实经历。
hadoop cdh 编译所需下载的所有软件,很全的
云计算,hadoop,学习笔记, dd
我学习hadoop的笔记,并在公司做的报告,给大家共享下
Hadoop学习笔记
Hadoop学习笔记AAAAAAAAAAA
hadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rar
编译hadoophadoop-3.2.2-src的源码
官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。
Hadoop源码编译
踏入hadoop的世界,一个不一样的世界
Hadoop 适合初学者 Hadoop2.0 hbase 什么时候用HBase: 确信有足够多数据 确信可以不依赖所有RDBMS的额外特性(列数据类型/第二索引/事物/高级查询语言) 确信有足够硬件
hadoop源码,官方,放心下载,完整版,阅读hadoop源代码的目的不一定非是工作的需要,你可以把他看成一种修养,通过阅读hadoop源代码,加深自己对分布式系统的理解,培养自己踏实做事的心态。
win10环境下hadoop-3.2.1编译后的源码包,以及win10环境编译所使用的软件及工具,hadoop-3.2.1-src.tar.gz、protobuf-2.5.0.zip和protoc-2.5.0-win32.zip、zlib-1.2.5.tar.gz、cmake-3.18.4-win64-x64.zip、Git-...
IT十八掌第三期配套课堂笔记 Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager...