sqoop2 常见问题 以及处理方式

一、报错：The specified function "connection" is not recognized.
原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这
里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function

 二、sqoop端口冲突

要注意一下$SQOOP_HOME/server/conf/server.xml中的tomcat端口问题，确保这些端口不会和你其他tomcat服务器冲突。

 

三、在start job(如：start job --jid 2)时常见错误：

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

 

在sqoop客户端设置查看job详情：

set option --name verbose --value true
start job --jid 2

四、 使用 status job --jid 1 查看job状态时， 报错：

java.io.IOException: java.net.ConnectException: Call from node3 /192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

 

出现这样的问题有两方面原因：

1、 在hadoop的配置文件mapper-site.xml文件中没有指定mapreduce.jobhistory.address属性，该属性确定MR的记录访问的目标主机以及端口号,原因知道了就好办了，在mapper-site.xml文件中添加上这个属性

<property>
                <name>mapreduce.jobhistory.address</name>
                <value>node3:10020</value>
 </property>

 

2、JobHistoryServer进程没有启动, 通过mr-jobhistory-daemon.sh启动即可
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/sbin/mr-jobhistory-daemon.sh start historyserver

 

 

 

评论

1 楼 ghostband 2016-11-08  

sqoop:000> start job -j 3 -s
Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception


您好，请问一下，每次执行job出现这种错误是什么问题呢

日志中是这样
Exception in PUT http://localhost:12000/sqoop/v1/job/3/start
org.apache.sqoop.common.SqoopException: GENERIC_JDBC_CONNECTOR_0005:No column is found to partition data

在分区数据中找不到列 

这里定义job的时候，
Job with id 4 and name mysql-hdfs (Enabled: true, Created by stb at 11/7/16 6:02 PM, Updated by stb at 11/7/16 6:02 PM)
Using link id 1 and Connector id 4
  From database configuration
    Schema name: mytest
    Table name: student
    Table SQL statement:
    Table column names:
    Partition column name:
    Null value allowed for the partition column:
    Boundary query:
  Throttling resources
    Extractors: 2
    Loaders: 2
  ToJob configuration
    Override null value:
    Null value:
    Output format: TEXT_FILE
    Compression format: NONE
    Custom compression format:
    Output directory: /user/stb/student

Schema name 和 table name 都是填的mysql的。