Now Loading ...
-
-
[#3] Apache Hadoop Overview
ํ์ฌ ์ ๊ฐ ๋ค๋๊ณ ์๋ ํ์ฌ๋ ๊ธ์ต ๋ถ์ผ์์ ๋น
๋ฐ์ดํฐ ์๋ฃจ์
์ ๊ฐ๋ฐํ๋ ํ์ฌ์
๋๋ค.
ํ์ฌ์ ๊ธฐ์กด ์๋ฃจ์
์ ์ ๊ฐ ์
์ฌํ๊ธฐ ์ ๋ถํฐ ๊ตฌ์ถ๋์ด ํ์ฌ๊น์ง ์ ์ง๋ณด์๊ฐ ์ด๋ฃจ์ด์ง๊ณ ์์ผ๋ฉฐ, Hadoop, Oozie, Impala ๋ฑ์ ์ค์ฌ์ผ๋ก ํ Hadoop ๊ธฐ๋ฐ ๋น
๋ฐ์ดํฐ ํ๋ซํผ์
๋๋ค.
๋ฐ๋ฉด, ์ ๊ฐ ์ง์ ๊ฐ๋ฐ์ ์ฐธ์ฌํ์ฌ ๋ง๋ค๊ณ ์๋ ์ต์ ์๋ฃจ์
์ Spark, Object Storage, Apache Iceberg ๋ฑ์ ํ์ฉํ ํด๋ผ์ฐ๋ ํ๊ฒฝ์ ์ต์ ํ๋ ์ต์ ๋น
๋ฐ์ดํฐ ํ๋ซํผ์
๋๋ค.
๋ ์๋ฃจ์
์ ๊ธฐ์ ์คํ๋, ์๋์ ๋ฐฐ๊ฒฝ๋ ๋ค๋ฆ
๋๋ค.
๊ทธ๋ฌ๋ ํ ๊ฐ์ง ์ค์ํ ์ฌ์ค์ ๋ณํ์ง ์์ต๋๋ค.
๋ชจ๋ ๋ถ์ฐ ์ฒ๋ฆฌ์ ๋น
๋ฐ์ดํฐ ๊ธฐ์ ์ ์ถ๋ฐ์ ์ ๋ฐ๋ก Hadoop์์ ์์๋์๋ค๋ ์ ์
๋๋ค.
๋ง์ ๋ถ๋ค์ด Spark, Iceberg, Delta Lake, Kubernetes ๊ธฐ๋ฐ์ ๋ถ์ฐ ์ฒ๋ฆฌ ํ๊ฒฝ ๋ฑ โ์ต์ ๊ธฐ์ โ์ ์ง์คํฉ๋๋ค.
๋ฌผ๋ก ์ต์ ๊ธฐ์ ์ ์ตํ๊ณ ์ ์ฉํ๋ ๊ฒ์ ์ค์ํฉ๋๋ค.
ํ์ง๋ง, ์ ๋ ๋ค์๊ณผ ๊ฐ์ ์ง๋ฌธ์ ์ค์ค๋ก ๋์ ธ๋ณด์์ต๋๋ค.
โ๊ณผ์ฐ ์ด ๊ธฐ์ ๋ค์ ์ ๋ฑ์ฅํ๋๊ฐ?โ
๋จ์ํ ๋ ๋น ๋ฅด๊ณ , ๋ ํธ๋ฆฌํ๊ธฐ ๋๋ฌธ์ด๋ผ๋ ๋๋ต์ผ๋ก๋ ์ถฉ๋ถํ์ง ์์ต๋๋ค.
๊ธฐ์กด์ ๊ธฐ์ ๋ค์ด ๊ฐ์ก๋ ํ๊ณ์ ๋ฌธ์ ์ ์ด ๋ฌด์์ด์๊ธฐ์, ์๋ก์ด ์์ง๊ณผ ์ํคํ
์ฒ๊ฐ ํ์ํ๋ ๊ฒ์ธ์ง
๊ทธ ํ๋ฆ์ ์ ๋๋ก ์ดํดํด์ผ๋ง, ๋จ์ํ ์ฌ์ฉ์๊ฐ ์๋ ์ง์ง ์์ง๋์ด๋ก ์ฑ์ฅํ ์ ์๋ค๊ณ ์๊ฐํ์ต๋๋ค.
๊ทธ๋์ ์ ๋ ์ง๊ธ, ๋น
๋ฐ์ดํฐ์ ์์์ ์ด๋ผ ์๊ฐํ๋ Hadoop์ ๊ณต๋ถํ๊ณ ์์ต๋๋ค.
ํ์ฌ์ ๊ณผ๊ฑฐ ์๋ฃจ์
์ ์ ๋๋ก ์ดํดํ๊ณ , ํ์ฌ ๊ฐ๋ฐ ์ค์ธ ์ต์ ํ๋ซํผ์ ๋ฐฉํฅ์ฑ์ ๋ ๊น์ด ์๊ฒ ๊ณ ๋ฏผํ๊ธฐ ์ํด์์ด๋ฉฐ, ๋์์ ๋น
๋ฐ์ดํฐ๋ฅผ ์ฒ์๋ถํฐ ์ดํดํ๊ธฐ ์ํด์์
๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ ๊ฐ ๊ณต๋ถํ ๋ด์ฉ์ ์ถํ์ ๋ค์ ๋์ ๋ณผ ์ ์๋๋ก, ๊ทธ๋ฆฌ๊ณ ๋ค๋ฅธ ์ฌ๋๋ค์๊ฒ๋ ์ ๋ฌ ํ ์ ์๋๋ก ๋ธ๋ก๊ทธ์ ๋ฐ์์ทจ๋ฅผ ๋จ๊น๋๋ค.
๊ทธ๋ผ ์ง๊ธ๋ถํฐ Apache Hadoop ์ ๋ํ์ฌ ์์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค.
๐ 1. ๋น
๋ฐ์ดํฐ
๐ 1.1. ์ ํต์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐฉ์์ ํ๊ณ
๐ 1.2. Apache Hadoop ์ ๋ฑ์ฅ ๋ฐฐ๊ฒฝ๊ณผ ํ์์ฑ
์จ๋ผ์ธ ์๋น์ค์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๊ธฐ์ ์ด ๋ฐ์ ํจ์ ๋ฐ๋ผ, ๊ธฐ์
์ด๋ ๊ธฐ๊ด์์ ๋ค๋ฃจ๋ ๋ฐ์ดํฐ์ ์๊ณผ ์ข
๋ฅ๋ ๋งค์ฐ ๋ค์ํด์ก์ต๋๋ค. ๊ธฐ์กด์๋ ์ ํ ๋ฐ์ดํฐ์ ๊ฒฝ์ฐ ๊ด๊ณํ ๋ฐ์ดํฐ๋ฒ ์ด์ค(RDBMS)๋ฅผ ํ์ฉํ์ฌ ์ ์ฅํ๊ณ ๊ด๋ฆฌํ๋ ๊ฒ์ด ์ผ๋ฐ์ ์ด์์ต๋๋ค. ๊ทธ๋ฌ๋ ์น ๋ก๊ทธ์ ๊ฐ์ ๋น์ ํ ๋ฐ์ดํฐ์ ๊ฒฝ์ฐ, ๋ฐ์ดํฐ์ ํฌ๊ธฐ๊ฐ ๋งค์ฐ ํฌ๊ธฐ ๋๋ฌธ์ ๊ธฐ์กด RDBMS์ ์ ์ฅํ๋ ๋ฐ ์ด๋ ค์์ด ์์ต๋๋ค. ๊ฒ๋ค๊ฐ ์ด๋ฐ ๋น์ ํ ๋ฐ์ดํฐ์๋ RDBMS๊ฐ ์ ๊ณตํ๋ ๋ณต์กํ๊ณ ์์ธํ ๊ธฐ๋ฅ์ด ๊ผญ ํ์ํ์ง ์์ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค.
๋ํ RDBMS๋ ๋๊ฐ ๊ณ ์ฑ๋ฅ, ๊ณ ๊ฐ์ ์ฅ๋น์์ ์ด์๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง๊ธฐ ๋๋ฌธ์, ์์ฃผ ์ฌ์ฉ๋์ง ์๋ ๋ฐ์ดํฐ๋ฅผ ๊ณ์ ์ ์ฅํ๊ธฐ ์ํด RDBMS ์ธํ๋ผ๋ฅผ ํ์ฅํ๋ ๊ฒ์ ๋น์ฉ์ ์ธ ๋ถ๋ด์ด ํฝ๋๋ค.
์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ฑ์ฅํ ๊ฒ์ด ๋ฐ๋ก ํ๋ก(Hadoop)์
๋๋ค. ํ๋ก์ ๊ฐ๋น์ผ ์๋ฒ๊ฐ ์๋ ์ผ๋ฐ์ ์ธ x86 ๊ธฐ๋ฐ์ ๋ฆฌ๋
์ค ์๋ฒ, ์ฆ ๋ฒ์ฉ ์๋ฒ(commodity server) ์ ์ค์นํ์ฌ ์ด์ฉํ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ ์ฉ๋์ด ์ฆ๊ฐํ๋๋ผ๋ ๋
ธ๋๋ฅผ ์ถ๊ฐํ๋ ๊ฒ๋ง์ผ๋ก ํ์ฅํ ์ ์์ผ๋ฉฐ, ์ถ๊ฐ์ ์ธ ์ฌ์ค์น๋ ๋ณต์กํ ์ฌ๊ตฌ์ฑ ์์
์์ด๋ ์ ์ฐํ๊ฒ ํ์ฅ์ด ๊ฐ๋ฅํฉ๋๋ค.
๋ํ ํ๋ก์ ๋ฐ์ดํฐ์ ๋ณต์ ๋ณธ์ ์ฌ๋ฌ ์๋ฒ์ ๋ถ์ฐ ์ ์ฅํ๊ธฐ ๋๋ฌธ์, ํน์ ์๋ฒ์ ์ฅ์ ๊ฐ ๋ฐ์ํ๊ฑฐ๋ ๋ฐ์ดํฐ๊ฐ ์ ์ค๋๋ ์ํฉ์์๋ ๋ฐ์ดํฐ ๋ณต๊ตฌ๊ฐ ๊ฐ๋ฅํ๋ค๋ ์ฅ์ ์ด ์์ต๋๋ค. ๋๋ถ์ด, ๋ฐ์ดํฐ๊ฐ ์ฌ๋ฌ ์๋ฒ์ ๋ถ์ฐ ์ ์ฅ๋์ด ์๊ธฐ ๋๋ฌธ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ญ์ ๊ฐ ์๋ฒ์์ ๋์์ ์ํํ ์ ์์ต๋๋ค. ์ด์ฒ๋ผ ๋ถ์ฐ ์ปดํจํ
ํ๊ฒฝ์์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํจ์ผ๋ก์จ ๊ธฐ์กด์ ์ค์ ์ง์คํ ๋ฐฉ์๋ณด๋ค ํจ์ฌ ๋์ ์ฑ๋ฅ์ ๊ธฐ๋ํ ์ ์์ต๋๋ค.
์ค์ ์ฌ๋ก๋ก, 2008๋
๋ด์ํ์์ฆ(New York Times)์์๋ ์ฝ 130๋
๋์ ์ถ์ ๋ 1,100๋ง ํ์ด์ง์ ๋ฌํ๋ ์ ๋ฌธ ๊ธฐ์ฌ๋ฅผ PDF๋ก ๋ณํํ๋ ์์
์ ์งํํ ๋ฐ ์์ต๋๋ค. ์ด ์์
์ AWS์ EC2์ S3, ๊ทธ๋ฆฌ๊ณ ํ๋ก์ ํ์ฉํด ๋จ ํ๋ฃจ ๋ง์ ๋ชจ๋ ์๋ฃํ ์ ์์๊ณ , ๋น์ ์์๋ ๋น์ฉ์ ์ฝ 200๋ง ์ ์ ๋์์ต๋๋ค. ์ผ๋ฐ์ ์ธ ์๋ฒ ํ๊ฒฝ์์ ๋ณ๋ ฌ์ฒ๋ฆฌ๋ก ๋์ผํ ์์
์ ์ํํ ๊ฒฝ์ฐ ์ฝ 14๋
์ด ๊ฑธ๋ ธ์ ๊ฒ์ด๋ผ๋ ์ ์ ๊ณ ๋ คํ๋ฉด, ํ๋ก๊ณผ ํด๋ผ์ฐ๋ ํ๊ฒฝ์ด ์ ๊ณตํ๋ ๋ถ์ฐ ์ฒ๋ฆฌ์ ๊ฐ๋ ฅํจ์ ์ ๋ณด์ฌ์ฃผ๋ ์ฌ๋ก๋ผ ํ ์ ์์ต๋๋ค.
๐ 2. ๋ถ์ฐ ์ปดํจํ
๐ 2.1. ๋ถ์ฐ ์ปดํจํ
๊ฐ์
์ ํต์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ํ๊ณ๋ฅผ ์์๋ณด์๊ณ , Apache Hadoop ์ด ์ ํ์ํ์ง๋ฅผ ์๊ฒ ๋์์ต๋๋ค.
์ด์ ํ๋ก์ ๋ํด์ ์์๋ณด์์ผ ํ๋๋ฐ, ๊ทธ ์ ์ ํ๋ก์ ๊ทผ๋ณธ์ธ ๋ถ์ฐ ์ปดํจํ
์ ๋ํด์ ์งง๊ฒ ์ง๊ณ ๋์ด๊ฐ๊ฒ ์ต๋๋ค.
๋ถ์ฐ ์ปดํจํ
์ด๋ก ์ ์๊ณ ํ๋ก์ ๋ฐฐ์ฐ๋ ๊ฒ๊ณผ, ๋ชจ๋ฅด๊ณ ํ๋ก์ ๋ฐฐ์ฐ๋ ๊ฒ์ ๋ถ๋ช
ํฐ ์ฐจ์ด๊ฐ ์์ ๊ฒ์
๋๋ค.
๋ถ์ฐ ์ปดํจํ
์ ๋ค์์ ์ปดํจํฐ๊ฐ ๊ณตํต์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ํ์
ํ๋๋ก ๋ง๋๋ ๋ฐฉ๋ฒ์
๋๋ค.
โ Question?
๋ถ์ฐ ์ปดํจํ
์ด๋ ๋ณ๋ ฌ ์ปดํจํ
์ ๊ฐ์ ๊ฑฐ ์๋๊ฐ์ ??
๋ถ์ฐ ์ปดํจํ
์ด์ผ๊ธฐ๋ฅผ ํ๋ฉด, ์ด์ฒ๋ผ ๋ณ๋ ฌ ์ปดํจํ
๊ณผ ํท๊ฐ๋ ค ํ๋ ์ฌ๋๋ค์ด ์๋๋ฐ, ๋์ ๋ถ๋ช
๋ค๋ฅธ ์ด๋ก ์
๋๋ค.
๋ณ๋ ฌ ์ปดํจํ
์ ํ๋์ ์ปดํจํฐ๋ฅผ ์ฌ๋ฌ ์์์ผ๋ก ๋๋๋ ๋ฐฉ์์ผ๋ก, ํฐ ์์
์ ์ฌ๋ฌ ๊ฐ์ ์์ ์์
์ผ๋ก ๋๋์ด ๋์์ ์ํํ๋ ๋ฐฉ์์
๋๋ค. ๋ฐ๋ฉด, ๋ถ์ฐ ์ปดํจํ
์ ์ฌ๋ฌ๊ฐ์ ๋
๋ฆฝ์ ์ธ ์ปดํจํฐ(๋
ธ๋)๊ฐ ๋คํธ์ํฌ๋ฅผ ํตํด ํต์ ํ๋ฉด์ ํ๋์ ์์
์ ํ๋ ฅํ์ฌ ์ํํ๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค.
์์๋ฅผ ๋ค์ด๋ณด๋ฉด, ๋ณ๋ ฌ ์ปดํจํ
์ ์ฃผ๋ก ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ฒ๋ฆฌํ๋ค๊ฑฐ๋, AI ๋ชจ๋ธ์ ํ์ต ์ํฌ ๋ ์ฌ์ฉ๋ฉ๋๋ค. ํ๋์ ์ปดํจํฐ ์์ ์ฌ๋ฌ GPU & CPU ์ฝ์ด๋ฅผ ๋๊ณ , ๊ฐ์ ๋ฉ๋ชจ๋ฆฌ์์ ๋ฐ์ดํฐ๋ฅผ ๊ณต์ ํ์ฌ ๋์์ ์์
์ ์งํํ๋๋ฐ, ๋ฅ๋ฌ๋์ผ๋ก ์ด์ด์ ์ด์ผ๊ธฐ ํด๋ณด๋ฉด, 8K ํด์๋์ ์๋ง์๋ฃฐ ํ ๋ฒ์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ๋ก ์ฒ๋ฆฌํ๊ธฐ ์ํด ์ฌ๋ฌ ์์ ๋ธ๋ก์ผ๋ก ๋๋๊ณ , ๊ทธ๊ฑธ ์ฌ๋ฌ GPU ์ฝ์ด์์ ๋์์ ์ฒ๋ฆฌํ๋ ๋ฐฉ์์ด ์์ต๋๋ค.
์ฌ๊ธฐ์ ์ค์ํ๊ฑด ํ๋์ ์ปดํจํฐ ์์์ ๋์ํ๋ค๋ ๊ฒ์ด๋ฉฐ, ํ ๊ฐ์ ์์
์ ๋ ๋น ๋ฅด๊ฒ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๋ฐฉ์์ด๋ผ๋ ๊ฒ๋๋ค. ๋ํ ๋ฐ์ดํฐ์ ์ด๋์ด ๊ฑฐ์ ์๊ณ ๋์ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ(RAM) ๋ฅผ ํ์ฉํฉ๋๋ค.
๋ฐ๋ฉด ํ๋ก๊ณผ ๊ฐ์ ๋ถ์ฐ ์ปดํจํ
์ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์ ํฉํฉ๋๋ค.
ํ๋ฃจ์๋ ์์ฒ, ์๋ง๊ฐ์ง์ ๋ฐ์ดํฐ๊ฐ ์์ฑ๋๋ ์น ํ์ด์ง์์๋ ํด๋น ๋ฐ์ดํฐ๋ฅผ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํด์ฃผ์ด์ผ ํฉ๋๋ค. ๋ง์ฝ ํ๋์ ์ปดํจํฐ์์ ๊ทธ ๋ฐ์ดํฐ๋ค์ ์ฒ๋ฆฌํ๋ค๋ฉด, ๊ทธ ํ ๋์ ์ปดํจํฐ์์ CPU, RAM, ๋์คํฌ I/O ๋ฑ์ ๋ชจ๋ ๊ฐ๋นํด์ผ ํ๋ฉฐ, ๋คํธ์ํฌ ๋์ญํญ๋ ํ๊ณ์ ๋๋ฌํด์ ์ฒ๋ฆฌ ์๋๊ฐ ๊ธ๊ฒฉํ๊ฒ ๋๋ ค์ง๊ฒ ๋ ๊ฒ๋๋ค. ๊ทธ ๋ฟ๋ง ์๋๋ผ, ๋ถ๋ช
ํ ๋์ ์ปดํจํฐ์ ๋ํ ์ค์ผ์ผ ์
์ ๋ฌผ๋ฆฌ์ ํ๊ณ๊ฐ ์์ ๊ฒ์ด๊ณ , ๋ฌด์๋ณด๋ค ์ด ํ ๋์ ์ปดํจํฐ๊ฐ ๋ง๊ฐ์ง๋ค๋ฉด, ๊ทธ์ผ๋ง๋ก ๋ณต๊ตฌ ๋ถ๊ฐ๋ฅํ ํฐ ๋ฌธ์ ๊ฐ ์๊ธฐ๊ฒ ๋ ๊ฒ์
๋๋ค.
ํ๋ฃจ์๋ ์์ต๊ฐ์ ๋ฐ์ดํฐ๊ฐ ์ค๊ณ ๊ฐ๋ ํ์ด์ค๋ถ์ ์์๋ก ๋ค์ด๋ณด๋ฉด, ๋ด๊ฐ ์ฌ๋ฆฐ ๊ฒ์๊ธ์ด ํ๋ฃจ๊ฐ ์ง๋์์ผ ๋จ๋ค์๊ฒ ๋
ธ์ถ๋๋ค๊ฑฐ๋ ํ๋ ๊ทน๋จ์ ์ธ ๋ฌธ์ ๊ฐ ๋ฐ์ ํ ์ ์๋๊ฒ๋๋ค.
๊ทธ๋ ๊ธฐ ๋๋ฌธ์ ์ฌ๋ฌ ๊ฐ์ ์ปดํจํฐ๋ก ์์
์ ๋๋์ด ๋ณ๋ ฌ๋ก ์ฒ๋ฆฌํ๋ ๋ถ์ฐ ์ปดํจํ
๋ฐฉ์์ด ๋ฑ์ฅํ์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์๋๋ฅผ ๊ทน๋ํํ๊ณ , ์๋ฒ ์ฅ์ ๋ก ์ธํ ๋ฐ์ดํฐ ์์ค ์ํ์ ์ค์ด๋ฉฐ, ํ์ํ ๋ ์๋ก์ด ์๋ฒ๋ฅผ ์ถ๊ฐํด ์ ์ฐํ๊ฒ ํ์ฅํ ์ ์๊ฒ ๋์์ต๋๋ค.
์ด๋ฌํ ๋ถ์ฐ ํ๊ฒฝ์ ๊ตฌ์ถํ๋ ๋ํ์ ์ธ ๊ธฐ์ ์ด ๋ฐ๋ก ํ๋ก(Hadoop)๊ณผ ๊ฐ์ ๋ถ์ฐ ์ปดํจํ
ํ๋ ์์ํฌ์
๋๋ค.
๊ตฌ๋ถ
๋ณ๋ ฌ ์ปดํจํ
(Parallel Computing)
๋ถ์ฐ ์ปดํจํ
(Distributed Computing)
๊ตฌ์กฐ
ํ๋์ ์ปดํจํฐ ๋ด๋ถ์์ ์ฌ๋ฌ ์์ (GPU, CPU ์ฝ์ด ๋ฑ) ํ์ฉ
์ฌ๋ฌ ๊ฐ์ ๋
๋ฆฝ๋ ์ปดํจํฐ(๋
ธ๋)๊ฐ ๋คํธ์ํฌ๋ก ์ฐ๊ฒฐ
์์
๋ฐฉ์
ํ๋์ ํฐ ์์
์ ์ฌ๋ฌ ์์ ์์
์ผ๋ก ๋๋์ด ๋์์ ์ฒ๋ฆฌ
์ฌ๋ฌ ๋
ธ๋๊ฐ ํ์
ํ์ฌ ํ๋์ ์์
์ ๋ถ์ฐ ์ฒ๋ฆฌ
๋ฉ๋ชจ๋ฆฌ
๊ณต์ ๋ฉ๋ชจ๋ฆฌ (RAM) ์ฌ์ฉ
๊ฐ ๋
ธ๋๊ฐ ๊ฐ๋ณ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ, ๋ฐ์ดํฐ๋ ๋คํธ์ํฌ๋ก ์ด๋
์์
๋ฅ๋ฌ๋ ๋ชจ๋ธ ํ์ต, AI ์ฒ๋ฆฌ, GPU ๋ณ๋ ฌ ์ฒ๋ฆฌ
ํ๋ก(Hadoop), ์คํํฌ(Spark), ํ์ด์ค๋ถ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฑ
๐ก ์ค์ํ ์ :
๋ณ๋ ฌ ์ปดํจํ
๊ณผ ๋ถ์ฐ ์ปดํจํ
, ๋์ ๋ค๋ฆ
๋๋ค!
๐ 2.2. ๋ถ์ฐ ์ปดํจํ
ํน์ง
๊ทธ๋ผ ๋ถ์ฐ์ปดํจํ
์ ํน์ง๊ณผ ์ด์ ์ ๋ณด๊ฒ ์ต๋๋ค.
1๏ธโฃ ํ์ฅ์ฑ (Scalability)
โ
๋ถ์ฐ ์์คํ
์ ์ํฌ๋ก๋ ๋ฐ ์๊ตฌ ์ฌํญ์ ๋ฐ๋ผ ํ์ฅํ ์ ์์ต๋๋ค. ํ์์ ๋ฐ๋ผ ๋ถ์ฐ ์ปดํจํ
๋คํธ์ํฌ์ ์ ๋
ธ๋, ์ฆ ๋ ๋ง์ ์ปดํจํ
๋๋ฐ์ด์ค๋ฅผ ์ถ๊ฐํ ์ ์์ต๋๋ค.
์๋ฅผ ๋ค์ด, ์ ์์๊ฑฐ๋ ์ฌ์ดํธ์์ ๋ธ๋ํ๋ผ์ด๋ฐ์ด ์์ฆ์ฒ๋ผ ๊ฐ์๊ธฐ ์ ์์์ ์ฃผ๋ฌธ๋์ด ํญ์ฆํ๋ ์ํฉ์ ์๊ฐํด ๋ด
์๋ค.
๊ธฐ์กด์ ๋จ์ผ ์๋ฒ ๊ตฌ์กฐ๋ผ๋ฉด, CPU์ RAM ์ฌ์ฉ๋์ด ํญ์ฃผํ๋ฉฐ ์ฌ์ดํธ๊ฐ ๋๋ ค์ง๊ฑฐ๋ ๋ค์ด๋ ์ ์์ต๋๋ค.
ํ์ง๋ง ๋ถ์ฐ ์์คํ
์์๋ ๊ฐ๋จํ ์๋ก์ด ์๋ฒ ๋
ธ๋ ๋ช ๋๋ฅผ ๋ ์ถ๊ฐํด์ฃผ๋ฉด ์์คํ
์ด ์๋์ผ๋ก ์ด๋ฅผ ์ธ์ํ๊ณ ๋ถํ๋ฅผ ๋ถ์ฐ์ํต๋๋ค.
์ด ๋๋ถ์ ์ ์ฐํ๊ณ ์์ฝ๊ฒ ํ์ฅ์ด ๊ฐ๋ฅํฉ๋๋ค.
2๏ธโฃ ๊ฐ์ฉ์ฑ (Availability)
โ
์ปดํจํฐ ์ค ํ๋๊ฐ ์๋ํ์ง ์๋๋ผ๋ ๋ถ์ฐ ์ปดํจํ
์์คํ
์ ์ ์์ ์ผ๋ก ์๋ํฉ๋๋ค. ๊ฐ๋ณ ์ปดํจํฐ์ ์ฅ์ ๊ฐ ๋ฐ์ํ๋๋ผ๋ ๊ณ์ ์๋ํ ์ ์์ผ๋ฏ๋ก, ์ค๊ณ๋ถํฐ ๋ด๊ฒฐํจ์ฑ์ด ๋ณด์ฅ๋ฉ๋๋ค.
๊ตฌ๊ธ ๊ฒ์ ์์ง์ ์๋ก ๋ค์ด๋ด
์๋ค.
๊ตฌ๊ธ์ ์ ์ธ๊ณ์ ๊ฑธ์ณ ์๋ง์ ์๋ฒ๊ฐ ์กด์ฌํ๋๋ฐ, ํ๋ฃจ์๋ ์ผ๋ถ ์๋ฒ๊ฐ ๋ค์ด๋๊ฑฐ๋ ์ฅ์ ๊ฐ ๋ฐ์ํ๋ ๊ฑด ํํ ์ผ์
๋๋ค.
ํ์ง๋ง ์ฐ๋ฆฌ๋ ๊ตฌ๊ธ ๊ฒ์์ ์ฌ์ฉํ ๋ โ์๋ฒ๊ฐ ๋ค์ด๋์ต๋๋คโ๋ผ๋ ๋ฉ์์ง๋ฅผ ๋ณธ ์ ์ด ๊ฑฐ์ ์์ฃ ?
๊ทธ ์ด์ ๊ฐ ๋ฐ๋ก ๋ถ์ฐ ์์คํ
์ ๊ฐ์ฉ์ฑ ๋๋ถ์
๋๋ค.
ํน์ ์๋ฒ๊ฐ ๊ณ ์ฅ ๋๋, ๋ค๋ฅธ ์๋ฒ๋ค์ด ๊ทธ ์ญํ ์ ๋์ ํ๋ฉด์ ์์คํ
์ ์ฒด๊ฐ ๋๊ธฐ์ง ์๊ณ ์ ์์ ์ผ๋ก ๋์ํ ์ ์๊ฒ ๋์ด ์์ต๋๋ค.
3๏ธโฃ ์ผ๊ด์ฑ (Consistency)
โ
๋ถ์ฐ ์์คํ
์ ์ฌ๋ฌ ์ปดํจํฐ๋ ์ ๋ณด์ ์ค๋ณต ๋ฐ์ดํฐ๋ฅผ ๊ณต์ ํ์ง๋ง, ์ด ์์คํ
์ ๋ชจ๋ ์ปดํจํฐ์ ๊ฑธ์ณ ์๋์ผ๋ก ๋ฐ์ดํฐ ์ผ๊ด์ฑ์ ๊ด๋ฆฌํฉ๋๋ค. ๋ฐ๋ผ์ ๋ฐ์ดํฐ ์ผ๊ด์ฑ์ ์ ์งํ๋ฉด์ ๋ด๊ฒฐํจ์ฑ์ ์ด์ ์ ๋๋ฆด ์ ์์ต๋๋ค.
์ธํฐ๋ท ๋ฑ
ํน์ ์ด์ฉํด์ A ๊ณ์ข์์ B ๊ณ์ข๋ก 100๋ง ์์ ์ด์ฒดํ๋ค๊ณ ๊ฐ์ ํด๋ด
์๋ค.
์ด ์์
์ด ์ฒ๋ฆฌ๋๋ ๋์ค, ์ผ๋ถ ์๋ฒ๊ฐ ์ฅ์ ๊ฐ ๋ฐ์ํ๋ค๊ณ ํด๋, ๋ถ์ฐ ์์คํ
์ ๋ฐ๋์ ๋ชจ๋ ์๋ฒ์ ๋์ผํ๊ฒ A ๊ณ์ข๋ 100๋ง ์์ด ๋น ์ง๊ณ , B ๊ณ์ข๋ 100๋ง ์์ด ์
๊ธ๋๋ค๋ ์ฌ์ค์ ๋ง์ถฐ์ค๋๋ค.
์ ํํ ๋ฐ์๋์ง ์๋๋ค๋ฉด, ํฐ ์ฌ๊ณ ๋ก ์ด์ด์ง ์ ์๋ ์ค์ํ ์์
์์๋ ๋ฐ๋์ ๋ฐ์ดํฐ ์ผ๊ด์ฑ์ด ๋ณด์ฅ๋์ด์ผ ํ๋ฉฐ, ๋ถ์ฐ ์์คํ
์ ์ด๋ฅผ ํจ๊ณผ์ ์ผ๋ก ๊ด๋ฆฌํฉ๋๋ค.
4๏ธโฃ ํฌ๋ช
์ฑ (Transparency)
โ
๋ถ์ฐ ์ปดํจํ
์์คํ
์ ์ฌ์ฉ์์ ๋ฌผ๋ฆฌ์ ๋๋ฐ์ด์ค๋ฅผ ๋
ผ๋ฆฌ์ ์ผ๋ก ๋ถ๋ฆฌํฉ๋๋ค. ๊ฐ๋ณ ์์คํ
์ ์ค์ ๋ฐ ๊ตฌ์ฑ์ ๋ํ ๊ฑฑ์ ์์ด ๋ง์น ๋จ์ผ ์ปดํจํฐ์ธ ๊ฒ์ฒ๋ผ ์์คํ
๊ณผ ์ํธ ์์ฉํ ์ ์์ต๋๋ค. ์ฌ๋ฌ ํ๋์จ์ด, ๋ฏธ๋ค์จ์ด, ์ํํธ์จ์ด ๋ฐ ์ด์ ์ฒด์ ๋ฅผ ํจ๊ป ์ฌ์ฉํ๋๋ผ๋ ์์คํ
์ด ์ํํ๊ฒ ์๋ํ ์ ์์ต๋๋ค.
๋ํ์ ์ธ ์๋ก ํด๋ผ์ฐ๋ ์๋น์ค (AWS, GCP, Azure)๋ฅผ ๋ค ์ ์์ต๋๋ค.
์ฌ์ฉ์๋ AWS S3์ ํ์ผ์ ์
๋ก๋ํ๊ฑฐ๋, RDS์์ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ฟผ๋ฆฌ๋ฅผ ๋ ๋ฆด ๋, ๊ทธ ๋ค์ ์ด๋ค ์์ญ, ์๋ฐฑ ๋์ ๋ฌผ๋ฆฌ ์๋ฒ๊ฐ ๋์๊ฐ๋์ง, ์ด์์ฒด์ ๊ฐ ๋ญ์ง ์ ๊ฒฝ ์ฐ์ง ์์ต๋๋ค.
๋ง์น ํ๋์ ๊ฑฐ๋ํ ์์คํ
์ฒ๋ผ ๋๋ผ๋ฉด์๋, ์ค์ ๋ก๋ ์๋ง์ ์๋ฒ๋ค์ด ๋คํธ์ํฌ ์์์ ๋ณต์กํ๊ฒ ํ์
ํ๊ณ ์๋ ๊ฑฐ์ฃ .
5๏ธโฃ ํจ์จ์ฑ (Efficiency)
โ
๋ถ์ฐ ์์คํ
์ ๊ธฐ๋ฐ ํ๋์จ์ด์ ๋ฆฌ์์ค ์ฌ์ฉ์ ์ต์ ํํ์ฌ ๋ ๋น ๋ฅธ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ๋ฐ๋ผ์ ๋ณผ๋ฅจ ๊ธ์ฆ์ผ๋ก ์ธํ ์์คํ
์ฅ์ ๋ ๊ณ ๊ฐ์ ํ๋์จ์ด์ ๋ฎ์ ํ์ฉ๋์ ๋ํ ๊ฑฑ์ ์์ด ๋ชจ๋ ์ํฌ๋ก๋๋ฅผ ๊ด๋ฆฌํ ์ ์์ต๋๋ค.
์์๋ก ๋ทํ๋ฆญ์ค์ ๊ฒฝ์ฐ๋ฅผ ๋ณด๊ฒ ์ต๋๋ค.
๋ทํ๋ฆญ์ค๋ ์ ์ธ๊ณ ์ฌ์ฉ์๋ค์๊ฒ ์ํ๋ฅผ ์คํธ๋ฆฌ๋ฐํ๋๋ฐ, ํน์ ์ง์ญ์์ ํน์ ์๊ฐ๋์ ํธ๋ํฝ์ด ์ง์ค๋๋๋ผ๋ ๊ทธ ์ง์ญ์ ๋ถ์ฐ ์๋ฒ๋ค์ด ์ต์ ์ ๋ฆฌ์์ค๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ์ฅ ๊ฐ๊น์ด ์๋ฒ์์ ๋น ๋ฅด๊ฒ ์์ ๋ฐ์ดํฐ๋ฅผ ์ ์กํฉ๋๋ค.
์ค์ ์ง์ค์์ผ๋ก ํ๋์ ์๋ฒ์์ ์ ์ธ๊ณ์ ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ธ๋ค๋ฉด, ๋คํธ์ํฌ ๋ณ๋ชฉ, ์๋ฒ ๋ถํ๊ฐ ์ฌ๊ฐํด์ง ๊ฒ๋๋ค.
ํ์ง๋ง ๋ถ์ฐ ์์คํ
๋๋ถ์ ๊ฐ ๋
ธ๋๊ฐ ์ํฉ์ ๋ง์ถฐ ์์์ ์ต์ ํํด ์ฌ์ฉํ์ฌ ํจ์จ์ ์ด๊ณ ๋น ๋ฅธ ์๋น์ค ์ ๊ณต์ด ๊ฐ๋ฅํด์ง๋๋ค.
๋ถ์ฐ ์ปดํจํ
์๋ ์ด๋ ๊ฒ ๋ค์ฏ ๊ฐ์ง์ ํฐ ์ฅ์ ์ด ์๋ค๊ณ ๋ณผ ์ ์๊ฒ ์ต๋๋ค.
๐ 2.3. CAP ์ด๋ก
CAP ์ด๋ก ์ ๋ถ์ฐ ์ปดํจํ
, ๋ถ์ฐ ์คํ ๋ฆฌ์ง์ ๊ด๋ จ ๋ ๊ณต๋ถ๋ฅผ ํ ๋ ๊ผญ ์์์ผ ํ๋ ๊ธฐ์ด ์ด๋ก ์ค ํ๋์
๋๋ค.
๋ถ์ฐ ์ปดํจํ
ํ๊ฒฝ์ ์ฌ๋ฌ ๊ฐ์ ๋ฌผ๋ฆฌ์ ์ธ ๋
ธ๋๋ค์ด ๋คํธ์ํฌ๋ฅผ ํตํด ์ฐ๊ฒฐ๋์ด ํ๋์ ์์คํ
์ ๊ตฌ์ฑํฉ๋๋ค. ์ด ๊ณผ์ ์์ ๊ฐ ๋
ธ๋๋ค์ ์๋ก ํต์ ํ๊ณ ์ฑํฌ๋ฅผ ๋ง์ถ๋ฉฐ ๋์ํ๋๋ฐ, ์ด๋ฅผ ํตํด ์์คํ
์ ์ํ ํ์ฅ์ด ๊ฐ๋ฅํ๊ณ ๋น์ฉ ํจ์จ์ ๋์ด๋ฉฐ, fault tolerance๋ฅผ ํ๋ณดํ ์ ์์ต๋๋ค. ํ์ง๋ง ๋ฌผ๋ฆฌ์ ์ผ๋ก ๋ถ๋ฆฌ๋ ์ฌ๋ฌ ๋
ธ๋๊ฐ ๋์ํ๋ ํ๊ฒฝ์์๋ ๋ถ๊ฐํผํ๊ฒ ํ๊ณ์ ์ด ์กด์ฌํ ์ ์์ต๋๋ค.
CAP ์ด๋ก ์ ์ด๋ฌํ ๋ถ์ฐ ํ๊ฒฝ์์ ์์คํ
์ ํน์ฑ์ ์ธ ๊ฐ์ง๋ก ๋๋์ด ์ค๋ช
ํฉ๋๋ค. ์ด ์ด๋ก ์ ํต์ฌ์, ๋ถ์ฐ ์์คํ
์ด ์ธ ๊ฐ์ง ์์ฑ์ธ Consistency(์ผ๊ด์ฑ), Availability(๊ฐ์ฉ์ฑ), Partition Tolerance(๋ถํ ํ์ฉ์ฑ) ์ค์์ ๋ชจ๋ ์์ฑ์ ๋์์ ๋ง์กฑํ ์ ์๋ค๋ ๊ฒ์
๋๋ค. ๋ฐ๋ผ์ ์์คํ
์ ๊ตฌ์ถํ ๋๋ ์ด ์ธ ๊ฐ์ง ์์ฑ ์ค ๋ ๊ฐ์ง์ ์ง์คํด์ผ ํ๋ฉฐ, ์ด๋ฅผ ์ ํํ๋ ๊ฒ์ด ์์คํ
์ค๊ณ์์ ์ค์ํ ์์๊ฐ ๋ฉ๋๋ค.
๐ก ์ค์ํ ์ :
CAP ์ด๋ก ์์๋ ์ธ๊ฐ์ง ์์ฑ์ ๋ชจ๋ ๋ง์กฑ์ํฌ ์ ์๊ณ , ๋ฐ๋์ ์
์ค ๋ ๊ฐ์ง๋ฅผ ์ ํํด์ผ ํฉ๋๋ค.
CAP ๋ฅผ ๊ฐ๊ฐ ๋๋ ์ ๋ณด๊ฒ ์ต๋๋ค.
์๋๋ ๋จผ์ ํ๋ก ๋ณด์ฌ๋๋ฆฌ๊ฒ ์ต๋๋ค.
์์ฑ
์ค๋ช
C (Consistency)
์ผ๊ด์ฑ, ๋ชจ๋ ๋
ธ๋์์ ๋์ผํ ๋ฐ์ดํฐ ๋ณด์ฅ
A (Availability)
๊ฐ์ฉ์ฑ, ํ๋ ์ด์์ ๋
ธ๋๊ฐ ์๋์ ๋ฉ์ถฐ๋ ์๋ต ๋ฐ์ ์ ์์์ ๋ณด์ฅ
P (Partition Tolerance)
๋ถํ ํ์ฉ์ฑ, ๋คํธ์ํฌ ์ฅ์ ๊ฐ ๋ฐ์ํด๋ ์์คํ
์ด ๊ณ์ ๋์ํ ์ ์์์ ๋ณด์ฅ (์๋ฒ ๋ ๋ฑ)
์ข ๋ ํ์ด์ ์ค๋ช
ํด๋ณด๊ฒ ์ต๋๋ค.
Consistency(์ผ๊ด์ฑ) :
ํด๋ฌ์คํฐ ๋ด ๋ชจ๋ ๋
ธ๋๊ฐ ๋์ผํ ๋ฐ์ดํฐ๋ฅผ ๋ณด์ ํ๊ณ ์์์ ์๋ฏธํฉ๋๋ค. ์ด๋ฅผ ๋ง์กฑํ๊ธฐ ์ํด์๋, ํน์ ๋
ธ๋์ ๋ฐ์ดํฐ๊ฐ ๊ธฐ๋ก๋ ๋ ํด๋น ๋ฐ์ดํฐ๊ฐ ํด๋ฌ์คํฐ์ ๋ชจ๋ ๋
ธ๋๋ก ์ฆ์ ๋ณต์ ๋์ด์ผ ํฉ๋๋ค. ์ฆ, ํธ๋์ญ์
์ด ์๋ฃ๋๊ธฐ ์ ๊น์ง ๋ชจ๋ ๋
ธ๋์ ๋ฐ์ดํฐ ์ ํ๊ฐ ์๋ฃ๋์ด์ผ ์ผ๊ด์ฑ์ด ๋ณด์ฅ๋ฉ๋๋ค.
์ผ๊ด์ฑ์ด ์ ์ง๋๋ ๊ฒฝ์ฐ, ํด๋ฌ์คํฐ ๋ด ์ด๋ค ๋
ธ๋์ ์ ๊ทผํ๋๋ผ๋ ํญ์ ๋์ผํ ๋ฐ์ดํฐ๋ฅผ ์กฐํํ ์ ์์ผ๋ฉฐ, ๋ฐ์ดํฐ์ ์ ํ์ฑ๊ณผ ์ ๋ขฐ์ฑ์ ํ๋ณดํ ์ ์์ต๋๋ค.
๋จ, ๋์์ ์ฌ๋ฌ๊ฐ์ ๋
ธ๋๊ฐ ๋์๊ฐ๊ธฐ ๋๋ฌธ์, Replication Lag ์ด ๋ฐ์ ํ ์ ๋ฐ์ ์๊ณ , ๋ฐ๋ผ์ ์์ ๋๊ฐ์ ์๊ฐ์ ๋ชจ๋ ๋
ธ๋๋ค์ด ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๋ ๊ฑด ๋ถ๊ฐ๋ฅํฉ๋๋ค. ๊ทธ๋์, ์ ํํ๋ โ๋์๋ผ๊ณ ๋๋๋งํผโ์ ์๊ฐ ์ฐจ์ด๋ก ์ผ๊ด์ฑ์ ์ ์งํ๊ฒ ๋ฉ๋๋ค.
Availability(๊ฐ์ฉ์ฑ) :
์์ฒญ์ ๋ํด์ ํญ์ ์๋ต์ ๋ฐ์ ์ ์์ด์ผ ํจ์ ์๋ฏธํฉ๋๋ค.
์ฝ๊ฒ ๋งํ๋ฉด, ํ๋ ์ด์์ ๋
ธ๋๊ฐ ์๋์ ๋ฉ์ถ๋๋ผ๋, ๋ค๋ฅธ ๋
ธ๋๋ฅผ ํตํ์ฌ ์๋ต์ ๋ฐ์ ์ ์์ด์ผ ํจ์ ์ด์ผ๊ธฐํฉ๋๋ค.
Partition Tolerance(๋ถํ ํ์ฉ์ฑ) :
๋ถํ ํ์ฉ์ฑ์ CAP ์ด๋ก ์ ์ฒ์ ์ ํด ๋ณธ ์ฌ๋์ด๋ผ๋ฉด ์ ์ผ ์๋ฟ์ง ์์ ๋ถ๋ถ์ด๋ผ๊ณ ํ ์ ์์ต๋๋ค.
์ค๋ช
ํ์๋ฉด, ๋ถ์ฐ ์์คํ
์์ ๋คํธ์ํฌ ์ฅ์ ๋ก ์ธํด ๋
ธ๋ ๊ฐ์ ์ฐ๊ฒฐ์ด ๋จ์ ๋๋ ๋ฑ์ ์ด์ ๋ก Network Partition ์ด ๋ฐ์ํด๋ ์์คํ
์ด ๊ฒ์ ๋์ํด์ผ ํจ์ ์๋ฏธํฉ๋๋ค.
์ด ๋ ์ค์ํ ๊ฒ์, Network Partiton ์ผ๋ก ์ธํด data ์ ์ผ๊ด์ฑ์ด ๊นจ์ง๋ ๋ฑ์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ฌ๋, ๊ทธ๊ฒ์ด ์ ์์ฒ๋ฆฌ ๋ ์ ์๋ ๋ฐฉ์์ ๊ฐ์ง๊ณ ์์ด์ผ ํ๋ค๋ ๊ฒ์
๋๋ค.
์ฌ์ค ๋ถ์ฐ ์ปดํจํ
์ ๊ตฌํํ๊ธฐ ์ํด์๋ ๋คํธ์ํฌ ์ฅ์ ์ ๋ํ ํด๊ฒฐ์ฑ
์ ๋ฐ๋์ ๊ณ ๋ คํด์ผ ํฉ๋๋ค.
๊ทธ๋์, CAP ์ด๋ก ์์ ์ธ ๊ฐ์ง๋ฅผ ์ ๋ถ ๋ง์กฑ ์ํฌ ์ ์๊ธฐ์, ๋ ๊ฐ์ง๋ฅผ ์ ํํ๋ค๊ณ ํ๋๋ฐ, ์ฌ์ค P๋ ๋ฌด์กฐ๊ฑด์ ์ผ๋ก ๋ค์ด๊ฐ๊ฒ ๋ฉ๋๋ค.
๐ก Network Partition ??
๋ถ์ฐ ์์คํ
์์ ๋
ธ๋ ๊ฐ์ ๋คํธ์ํฌ ์ฐ๊ฒฐ์ด ๋์ผ ์๋ก ํต์ ํ ์ ์๋ ์ํ๊ฐ ๋๋ ๊ฒ.
๋ํ์ ์ธ ์์๋ก Split-Brain ๊ฐ ์์.
๐ก Split-Brain ??
{A,B,C,D,E} ๋
ธ๋๋ค์ด ํ๋์ ํด๋ฌ์คํฐ๋ฅผ ์ด๋ฃจ๊ณ ์๋ค๊ฐ, ๋คํธ์ํฌ ๋ฌธ์ ๋ก ์ธํด, {A,B} {C,D,E} ์ด๋ ๊ฒ ๋ณต์์ ๊ทธ๋ฃน์ผ๋ก ๋๋์ด ์ง๊ณ , ๊ฐ ํํฐ์
๊ทธ๋ฃน์ด ์๋ก๊ฐ ์๋ก๋ฅผ Primary ๋ผ ์๊ฐํ๋ฉฐ ์ด์ค์ผ๋ก ํด๋ฌ์คํฐ๊ฐ ์คํ๋๊ฒ ๋๋ ๋ฌธ์ ๋ฅผ ์ด์ผ๊ธฐํจ.
์ด ๋, WRITE ์ ํ ๋
ธ๋์์๋ง ์์
์ด ์ํ๋์ด, ๋ค๋ฅธ ๊ทธ๋ฃน์ ๋ฐ์ดํฐ๋ฅผ ๋๊ธฐํ ํ์ง ๋ชปํ๊ณ , ์ถํ ๋
ธ๋๊ฐ์ ํต์ ์ด ์ ์ํ ๋์๋ data๊ฐ์ ์ถฉ๋์ด ๋ฐ์ํด inconsistent ํ ์ํ๊ฐ ๋ ์ ์์.
๋ถ์ฐ ์์คํ
์์ ๋
ธ๋๋ผ๋ฆฌ ํต์ ํ ๋ timeout ์ด ๋ฐ์ํ๋ ๊ฒฝ์ฐ๋ network partition ์ ํด๋นํจ.
๐ 3. Apache Hadoop
๐ 3.1. Apahce Hadoop ์ ๊ฐ๋
๐ 3.2. Apache Hadoop ์ํคํ
์ฒ
๐ 3.3. Hadoop Version ๋ณ ํน์ง
-
-
Touch background to close