μ λ² ν¬μ€ν
κΉμ§λ νλ‘μ κΈ°λ³Έκ³Ό YARN, MapReduce κ·Έλ¦¬κ³ μμ½μμ€ν
λ±μ ν¬μ€ν
νμμ΅λλ€.
μ€λμ 곡λΆν λ΄μ©μ ν λλ‘, νλ‘μ κΈ°λ³Έμ μΈ κ΅¬μ±μ μ€μΉν λ΄μ©μ ν¬μ€ν
ν΄λ³΄κ³ , νλ‘μ κΈ°λ³Έ 곡λΆμ λν λ΄μ©μ λ§λ¬΄λ¦¬νκ³ μ ν©λλ€.
μ€λ νλ‘ ν¬μ€ν μ΄νμλ, νλ‘μ μ¬νμ μΈ λΆλΆλ€μ νλμ© λλ κ°λ©°, μ€λ¬΄μ μΌλ‘ κ²ͺμλ μ¬λ‘λ€μ μμ£Όλ‘ μ‘°κΈμ© μ 리ν΄λ³΄κ² μ΅λλ€.
π μ°Έκ³ λ‘ μ€λ μ€μ΅μ μ λ§ κΈ°λ³Έμ μΈ μ€μ΅ λ΄μ©μ μ 리νμμ΅λλ€. μ€λ¬΄μ μΌλ‘ μ°μ΄κ±°λ, μ¬νλ λ΄μ©μ μΆν 곡λΆνμ¬ μΆκ°λ‘ μ 리 ν μμ μ λλ€.
π μμ½μμ€ν μ€μ΅ μμ, κΈ°λ³Έμ μΈ λμ μ€μ΅λ§ κ°λ¨νκ² μ§μμ ꡬνν λΆλΆμ μ 리νμμ΅λλ€. μμ½ μμ€ν λ μΆν 곡λΆνμ¬ λ μμΈνκ² μ 리 ν μμ μ λλ€.
π λΆμ° μμ€ν
μ μ΄ν΄μ νλ‘μ λ±μ₯ λ°°κ²½
π νλ‘μ ν΅μ¬ ꡬμ±μμμ μ΄λ‘
π YARN(Yet Another Resource Negotiator) κΈ°λ³Έ μ΄λ‘
π Map Reduce κΈ°λ³Έ μ΄λ‘ κ³Ό μ€μ΅
π νλ‘ μμ½μμ€ν
κ³Ό μ΄μ λ° κ΄λ¦¬
π 1. μ€μ΅ νκ²½ ꡬμ±
π 1.1. Version
- JDK 8
- Hadoop 3.1.3
- Hive 3.1.3
π 1.2. VM & CentOS μ€μΉ
π 1.3. λ°©νλ²½ λ° ν¬νΈ μ€μ
π 1.4. JDK μ€μΉ λ° νκ²½λ³μ μ€μ
π 1.5. Hadoop μ€μΉ λ° νκ²½λ³μ μ€μ
π 2. μμ¬λΆμ° λͺ¨λ ꡬμΆ
π 2.1. xmlνμΌ μ€μ
π 3. μμ λΆμ° λͺ¨λ ꡬμΆ
π 3.1. λ€νΈμν¬ λ° νΈμ€νΈ μ€μ
π 3.2. SSH μ€μ
π 3.3. xmlνμΌ μ€μ
π 3.4. μ΄μ : DataNode Cluster ID μΆ©λ λ¬Έμ ν΄κ²°
π 4. HA μμ λΆμ° λͺ¨λ ꡬμΆ
π 5. Observer NameNode μ€μ΅
π 6. Yarn μ€μ΅
π 7. νλ‘ μμ½μμ€ν Hive κΈ°λ³Έ μ€μ΅
π 7.1. MySQL μ€μΉ
Cent OS μ§μ μ’ λ£λ‘ μΈν, yum repository λ³κ²½
π 7.2. λ©ν μ€ν μ΄ μ΄κΈ° λ±λ‘
schematool -dbType mysql -initSchema
π 8. νλ‘ μμ½μμ€ν Hbase κΈ°λ³Έ μ€μ΅
βοΈ κ²°λ‘