sqoop2:从mysql导出数据到hdfs

  • 时间:
  • 浏览:0

配置sqoop server

启动sqoopp-shell

各参数意义:

代理大问题,确保hadoop的core-site.xml的xxx有代理

启动jobhistory

定位大问题一定要查看日志,sqoop的日志输出在sqoop.properties 配的路径sqoop.log

查看hdfs的相关路径,看是有无有输出文件

查看创建的job

查看job运行情形

启动job

查看server连接是有无可用

你你你什儿 大问题一般是在hadoop2.x版本里会再次出显,Hadoop的datanode需要访问namenode的jobhistory server,怎么让没有修改,则默认为0.0.0.0:20020,则还能否 修改mapred-site.xml文件

创建hdfs link

正确处理: 在创建mysql链接时,Identifier enclose:指定SQL中标识符的定界符,也却说我说,有的SQL标示符是另三个 引号:select * from "table_name",你你你什儿 定界符在MySQL中是会报错的。你你你什儿 属性默认值却说我双引号,使用空格覆盖你你你什儿 值。

用如下命令创建另三个 generic-jdbc-connector的链接

参考: http://www.cnblogs.com/avivaye/p/6197123.html

确保mapredce有足够的java内存,还能否 在mapreduce-site.xml中配置

查看link

查看sqoop server上可用的链接

也还能否 访问hdfs的webui进行查看http://localhost:200070/