1.安装准备工作:
已经装好的 hadoop 环境是cdh版本 hadoop-2.6.0 64位
下载的sqoop安装包 (不知道这个安装包支不支持64位,所以我下载的源码,然后自己编译源码)
http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1.tar.gz
源码下载地址:
http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1-src.tar.gz
编译源码
编译环境与hadoop的编译环境一致,详细配置请查看《Hadoop学习笔记 6 Hadoop源码编译》
maven编译命令:
mvn clean package -Pbinary -DskipTests
如果报内存溢出:
set MAVEN_OPTS=-XX:MaxPermSize=128M
编译好的安装包在 sqoop2-1.99.5-cdh5.5.1/dist/target/
2.解压文件到工作目录:
tar -xzvf sqoop-1.99.5-bin-hadoop200.tar.gz -C /usr/hadoop
3.修改环境变量:
vim /etc/profile
添加如下内容:
#sqoop
export SQOOP_HOME=/usr/hadoop/sqoop-1.99.5-bin-hadoop200
export PATH=SQOOPHOME/bin:PATH
export CATALINA_HOME=SQOOPHOME/server
LOGDIR=SQOOP_HOME/logs
保存退出即时生效:
source /etc/profile
4.修改sqoop配置:
vim /usr/hadoop/sqoop-1.99.5-bin-hadoop200/server/conf/sqoop.properties
#修改指向我的hadoop安装目录
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/hadoop/hadoop-2.6.0-cdh5.5.1
#把hadoop目录下的jar包都引进来
vim /usr/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/catalina.properties
common.loader=/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/common/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/common/lib/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/hdfs/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/hdfs/lib/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/mapreduce/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/mapreduce/lib/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/tools/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/tools/lib/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/yarn/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/yarn/lib/*.jar,
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/httpfs/tomcat/lib/*.jar
或者
在$SQOOP_HOME中建个文件夹例如hadoop_lib,然后将这些jar包cp到此文件夹中,最后将此文件夹路径添加到common.loader属性
中,这种方法更加直观些
5.下载mysql驱动包
mysql-connector-java-5.1.32-bin.jar
并放到 /usr/hadoop/hadoop-2.6.0-cdh5.5.1/share/hadoop/httpfs/tomcat/lib/ 目录下
6.启动/停止sqoop2
/usr/hadoop/sqoop-1.99.5-bin-hadoop200/bin/sqoop.sh server start/stop
查看启动日志:
tail -500 /usr/hadoop/sqoop-1.99.5-bin-hadoop200/server/logs/catalina.out
7.进入客户端交互目录
/usr/hadoop/sqoop-1.99.5-bin-hadoop200/bin/sqoop.sh client
相关推荐
本资源是把sqoop的源码按照官方推荐的issue解决方案重新编译后的版本。sqoop-1.4.7.bin__hadoop-2.6.0-2020.0508.tar.gz是已完成编译的tar包。sqoop编译.zip是编译所需要改的配置以及步骤。 各位请二选其一吧。这个...
hadoop中的sqoop安装与使用
sqoop2安装文档,这个很全面,每一步都有,希望对你有所帮助
sqoop-1.4.7部署
大数据技术基础实验报告-sqoop的安装配置与应用
Hadoop Sqoop介绍及安装部署.pdfHadoop Sqoop介绍及安装部署.pdf
Hadoop hbase hive sqoop集群环境安装配置及使用文档
sqoop的安装和基本操作.mp4
第9章 Sqoop组件安装配置.pdf
本文档主要是sqoop组件部署。欢迎大家关注数据科学,本人不断为大家提供数据科学相关知识,如有疑问请随时沟通不断优化
第9章 Sqoop组件安装配置.docx
1、Apache Sqoop介绍及部署 网址:https://blog.csdn.net/chenwewi520feng/article/details/130571742 介绍sqoop的功能、适用场景以及部署方式
NULL 博文链接:https://mazhilin.iteye.com/blog/2421559
说明: 版本为:sqoop2-1.99.5-cdh5.10.2 解决数据分隔符 以及 string类型数据存在单引号问题(解决方式 通过更改源码SqoopIDFUtils 里面的分隔符来解决此问题 ) 只需要将以下包进行替换 connector-sdk-1.99.5-...
sqoop2安装包。
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...
04_Sqoop的安装部署及连接测试 05_Sqoop将MySQL数据导入到HDFS(一) 06_Sqoop将MySQL数据导入到HDFS(二) 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10...
Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}。记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
sqoop2-1.99.7 documentation 英文文档
大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置