sqoop2:从mysql导出数据到hdfs

  • 时间:
  • 浏览:1
  • 来源:大发彩票快三—大发彩票app

创建hdfs link

定位问提一定要查看日志,sqoop的日志输出在sqoop.properties 配的路径sqoop.log

除理: 在创建mysql链接时,Identifier enclose:指定SQL中标识符的定界符,也就说 说,有的SQL标示符是有一有一个 多引号:select * from "table_name",这个 定界符在MySQL中是会报错的。这个 属性默认值就说 双引号,使用空格覆盖这个 值。

查看创建的job

查看link

这个 问提一般是在hadoop2.x版本里会经常出现,Hadoop的datanode时要访问namenode的jobhistory server,机会这麼 修改,则默认为0.0.0.0:500020,则还时要修改mapred-site.xml文件

也还时要访问hdfs的webui进行查看http://localhost:500070/

参考: http://www.cnblogs.com/avivaye/p/6197123.html

确保mapredce有足够的java内存,还时要在mapreduce-site.xml中配置

配置sqoop server

用如下命令创建有一有一个 多generic-jdbc-connector的链接

启动sqoopp-shell

查看job运行状况

启动jobhistory

启动job

各参数意义:

查看server连接与否可用

代理问提,确保hadoop的core-site.xml的xxx有代理

查看hdfs的相关路径,看与否有输出文件

查看sqoop server上可用的链接