`
guoyunsky
  • 浏览: 839822 次
  • 性别: Icon_minigender_1
  • 来自: 上海
博客专栏
3d3a22a0-f00f-3227-8d03-d2bbe672af75
Heritrix源码分析
浏览量:203331
Group-logo
SQL的MapReduce...
浏览量:0
社区版块
存档分类
最新评论

Sqoop源码分析(三) Sqoop各种命令和参数

阅读更多

         欢迎加入Hadoop超级群: 180941958

         Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3

        Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.

 

序号 命令/command 说明
1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中
2 export ExportTool 将HDFS中的数据导入到关系型数据库中
3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打成jar包
4 create-hive-table CreateHiveTableTool

创建Hive表

5 eval EvalSqlTool 查看SQL执行结果
6 import-all-tables ImportAllTablesTool 导入某个数据库下所有表到HDFS中
7 job JobTool  
8 list-databases ListDatabasesTool 列出所有数据库名
9 list-tables ListTablesTool 列出某个数据库下所有表
10 merge MergeTool  
11 metastore MetastoreTool  
12 help HelpTool 查看帮助
13 version VersionTool 查看版本

 

        接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数.Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:

       1.Common arguments

           通用参数,主要是针对关系型数据库链接的一些参数

 

序号 参数 说明 样例
1 connect 连接关系型数据库的URL jdbc:mysql://localhost/sqoop_datas
2 connection-manager 连接管理类,一般不用  
3 driver 连接驱动  
4 hadoop-home  hadoop目录 /home/guoyun/hadoop
5 help 查看帮助信息  
6 password 连接关系型数据库的密码  
7 username 链接关系型数据库的用户名  
8 verbose 查看更多的信息,其实是将日志级别调低 该参数后面不接值

 

 更多技术文章、感悟、分享、勾搭,请用微信扫描:

2
2
分享到:
评论
2 楼 zzw0309452 2012-07-12  
你知道  --parameters 这个参数什么用处吗?
1 楼 hibernate159 2012-03-06  
请问,sqoop能否导入到hive二级分区中

相关推荐

Global site tag (gtag.js) - Google Analytics