Sqoop으로 MySQL 데이터 Hive로 Import 하기¶
Sqoop은 Hadoop과 RDBMS간에 데이터를 주고받기 위해 사용되는 툴이다.
Table을 Import¶
sqoop import --connect jdbc:mysql://localhost:3306/sqoop
--username root
-P
--split-by id
--columns id,name
--table customer
--target-dir /user/cloudera/ingest/raw/customers
--fields-terminated-by ","
--hive-import
--create-hive-table
--hive-table sqoop_workspace.customers
Query 결과를 Import¶
WHERE 절에 $CONDITIONS를 꼭 넣어주어야 함
sqoop import --connect jdbc:mysql://localhost:3306/sqoop
--username root
-P
--split-by id
--columns id,name
--target-dir /user/cloudera/ingest/raw/customers
--fields-terminated-by ","
--hive-import
--create-hive-table
--hive-table sqoop_workspace.customers
--query 'SELECT * FROM customer WHERE $CONDITIONS'