Home > πŸ“– 개인 곡뢀 > πŸ‘‰ Apache Hadoop > πŸ“˜ ν•˜λ‘‘ ν΄λŸ¬μŠ€ν„°, YARN, κΈ°λ³Έ μ—μ½”μ‹œμŠ€ν…œ μ‹€μŠ΅

πŸ“˜ ν•˜λ‘‘ ν΄λŸ¬μŠ€ν„°, YARN, κΈ°λ³Έ μ—μ½”μ‹œμŠ€ν…œ μ‹€μŠ΅
Apache Hadoop Study

μ €λ²ˆ ν¬μŠ€νŒ…κΉŒμ§€λŠ” ν•˜λ‘‘μ˜ κΈ°λ³Έκ³Ό YARN, MapReduce 그리고 μ—μ½”μ‹œμŠ€ν…œ 등을 ν¬μŠ€νŒ…ν•˜μ˜€μŠ΅λ‹ˆλ‹€.
μ˜€λŠ˜μ€ κ³΅λΆ€ν•œ λ‚΄μš©μ„ ν† λŒ€λ‘œ, ν•˜λ‘‘μ˜ 기본적인 ꡬ성을 μ„€μΉ˜ν•œ λ‚΄μš©μ„ ν¬μŠ€νŒ…ν•΄λ³΄κ³ , ν•˜λ‘‘μ˜ κΈ°λ³Έ 곡뢀에 λŒ€ν•œ λ‚΄μš©μ„ λ§ˆλ¬΄λ¦¬ν•˜κ³ μž ν•©λ‹ˆλ‹€.

였늘 ν•˜λ‘‘ ν¬μŠ€νŒ… μ΄ν›„μ—λŠ”, ν•˜λ‘‘μ˜ 심화적인 뢀뢄듀을 ν•˜λ‚˜μ”© λ‚˜λˆ κ°€λ©°, μ‹€λ¬΄μ μœΌλ‘œ κ²ͺμ—ˆλ˜ 사둀듀을 μœ„μ£Όλ‘œ μ‘°κΈˆμ”© μ •λ¦¬ν•΄λ³΄κ² μŠ΅λ‹ˆλ‹€.


πŸ“Œ 참고둜 였늘 μ‹€μŠ΅μ€ 정말 기본적인 μ‹€μŠ΅ λ‚΄μš©μ„ μ •λ¦¬ν•˜μ˜€μŠ΅λ‹ˆλ‹€. μ‹€λ¬΄μ μœΌλ‘œ μ“°μ΄κ±°λ‚˜, μ‹¬ν™”λœ λ‚΄μš©μ€ μΆ”ν›„ κ³΅λΆ€ν•˜μ—¬ μΆ”κ°€λ‘œ 정리 ν•  μ˜ˆμ •μž…λ‹ˆλ‹€.


πŸ“Œ μ—μ½”μ‹œμŠ€ν…œ μ‹€μŠ΅ μ—­μ‹œ, 기본적인 λ™μž‘ μ‹€μŠ΅λ§Œ κ°„λ‹¨ν•˜κ²Œ μ§‘μ—μ„œ κ΅¬ν˜„ν•œ 뢀뢄을 μ •λ¦¬ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 에코 μ‹œμŠ€ν…œλ„ μΆ”ν›„ κ³΅λΆ€ν•˜μ—¬ 더 μžμ„Έν•˜κ²Œ 정리 ν•  μ˜ˆμ •μž…λ‹ˆλ‹€.



πŸ“˜ λΆ„μ‚° μ‹œμŠ€ν…œμ˜ 이해와 ν•˜λ‘‘μ˜ λ“±μž₯ λ°°κ²½
πŸ“˜ ν•˜λ‘‘μ˜ 핡심 κ΅¬μ„±μš”μ†Œμ™€ 이둠
πŸ“˜ YARN(Yet Another Resource Negotiator) κΈ°λ³Έ 이둠
πŸ“˜ Map Reduce κΈ°λ³Έ 이둠과 μ‹€μŠ΅
πŸ“˜ ν•˜λ‘‘ μ—μ½”μ‹œμŠ€ν…œκ³Ό 운영 및 관리




β—ˆ


🐘 1. μ‹€μŠ΅ ν™˜κ²½ ꡬ성

🐘 1.1. Version


  • JDK 8
  • Hadoop 3.1.3
  • Hive 3.1.3

🐘 1.2. VM & CentOS μ„€μΉ˜

🐘 1.3. λ°©ν™”λ²½ 및 포트 μ„€μ •

🐘 1.4. JDK μ„€μΉ˜ 및 ν™˜κ²½λ³€μˆ˜ μ„€μ •

🐘 1.5. Hadoop μ„€μΉ˜ 및 ν™˜κ²½λ³€μˆ˜ μ„€μ •

🐘 2. μ˜μ‚¬λΆ„μ‚° λͺ¨λ“œ ꡬ좕


🐘 2.1. xml파일 μ„€μ •

🐘 3. μ™„μ „ λΆ„μ‚° λͺ¨λ“œ ꡬ좕


🐘 3.1. λ„€νŠΈμ›Œν¬ 및 호슀트 μ„€μ •

🐘 3.2. SSH μ„€μ •

🐘 3.3. xml파일 μ„€μ •

🐘 3.4. 이슈 : DataNode Cluster ID 좩돌 문제 ν•΄κ²°

🐘 4. HA μ™„μ „ λΆ„μ‚° λͺ¨λ“œ ꡬ좕

🐘 5. Observer NameNode μ‹€μŠ΅

🐘 6. Yarn μ‹€μŠ΅

🐘 7. ν•˜λ‘‘ μ—μ½”μ‹œμŠ€ν…œ Hive κΈ°λ³Έ μ‹€μŠ΅


🐘 7.1. MySQL μ„€μΉ˜

Cent OS 지원 μ’…λ£Œλ‘œ μΈν•œ, yum repository λ³€κ²½

🐘 7.2. 메타 μŠ€ν† μ–΄ 초기 등둝

schematool -dbType mysql -initSchema

🐘 8. ν•˜λ‘‘ μ—μ½”μ‹œμŠ€ν…œ Hbase κΈ°λ³Έ μ‹€μŠ΅

✏️ 결둠




β—ˆ


πŸ“š 곡뢀 μ°Έκ³  자료