๋น ๋ฐ์ดํฐ ๋ถ์ A to Z: ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์๋ฒฝ ์ ๋ณต๋ฒ
๋น ๋ฐ์ดํฐ ๋ถ์์ ํ๋ ์ฌํ์์ ์ค์ํ ์ญํ ์ ํ๊ณ ์์ต๋๋ค. ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ๊ธฐ์ ์ ๊ฒฝ์ ์ ๋ต์ ์ฆ๊ฐ์ ์ผ๋ก ๊ฐ์ ํ ๋ฟ๋ง ์๋๋ผ, ๊ณ ๊ฐ ๊ฒฝํ์ ํฅ์์ํค๊ณ ๋งค์ถ์ ์ฆ๊ฐ์ํค๋ ๋ฐ ๊ธฐ์ฌํฉ๋๋ค. ์ด ๊ธ์์๋ ๋น ๋ฐ์ดํฐ ๋ถ์์ ๊ฐ๋ , ๋๊ตฌ ๋ฐ ๋ฐฉ๋ฒ๋ก , ๊ทธ๋ฆฌ๊ณ ์ด๋ฅผ ํตํด ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ์ด๋ป๊ฒ ์๋ฒฝํ๊ฒ ์ ๋ณตํ ์ ์๋์ง์ ๋ํด ์ฌ์ธต์ ์ผ๋ก ๋ค๋ฃจ์ด ๋ณด๊ฒ ์ต๋๋ค.
๋น ๋ฐ์ดํฐ ๋ถ์์ ์ ์์ ์ค์์ฑ
๋น ๋ฐ์ดํฐ ๋ถ์์ด๋ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์์ง, ์ ์ฅ, ์ฒ๋ฆฌ, ๋ถ์ํ์ฌ ์ ์ฉํ ์ ๋ณด๋ฅผ ๋์ถํ๋ ๊ณผ์ ์ ์๋ฏธํฉ๋๋ค. ์ด๋ฌํ ๋ฐ์ดํฐ๋ ๊ณ ๊ฐ์ ํ๋ ํจํด, ์์ฅ ํธ๋ ๋, ์ด์ ํจ์จ์ฑ ๋ฑ์ ์ดํดํ๋ ๋ฐ ํ์์ ์ ๋๋ค. ์ ๋ณด์ ์์ด ๊ธฐํ๊ธ์์ ์ผ๋ก ์ฆ๊ฐํ๋ ์๋์์, ๋จ์ํ ๋ฐ์ดํฐ ์์ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์์ต๋๋ค. ์ ๊ตํ ๋ถ์ ๊ธฐ๋ฒ์ ํตํด ๋ฐ์ดํฐ ๋ด ์จ๊ฒจ์ง ์ธ์ฌ์ดํธ๋ฅผ ํ์ ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
๋น ๋ฐ์ดํฐ ๋ถ์์ ์ค์์ฑ์ ์ฌ๋ฌ ๋ถ์ผ์์ ์ ๋ํ๋ฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์๋ฃ ๋ถ์ผ์์๋ ํ์์ ์ง๋ฃ ๊ธฐ๋ก์ ๋ถ์ํ์ฌ ์ต์ ์ ์น๋ฃ ๋ฐฉ๋ฒ์ ์ ์ํ ์ ์์ต๋๋ค. ์๋งค ์ ๊ณ์์๋ ์๋น์ ๊ตฌ๋งค ํจํด์ ๋ถ์ํ์ฌ ๋ง์ถคํ ๋ง์ผํ ์ ๋ต์ ์๋ฆฝํ ์ ์์ต๋๋ค. ์ด๋ฌํ ์ฌ๋ก๋ค์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ด ๋จ์ํ ์ด๋ก ์ด ์๋ ์ค์ ๋ก ๊ธฐ์ ์ ์ฑ๊ณผ์ ์ํฅ์ ๋ฏธ์น๋ค๋ ๊ฒ์ ๋ณด์ฌ์ค๋๋ค.
๋น ๋ฐ์ดํฐ ๋ถ์ ๋๊ตฌ์ ๊ธฐ์
๋น ๋ฐ์ดํฐ ๋ถ์์ ์ํ ๋๊ตฌ์ ๊ธฐ์ ์ ๋ค์ ์กด์ฌํฉ๋๋ค. ๊ฐ์ฅ ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋๊ตฌ ๊ฐ์ด๋ฐ ๋ช ๊ฐ์ง๋ฅผ ์๊ฐํ๊ฒ ์ต๋๋ค.
- Hadoop: ๋ถ์ฐ ์ฒ๋ฆฌ ์์คํ ์ผ๋ก, ๋๋์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐ ์ ์ฅ์ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค. ๋ง์ ๊ธฐ์ ๋ค์ด ์ด ๋๊ตฌ๋ฅผ ํ์ฉํ์ฌ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ๊ด๋ฆฌ์ ๋ถ์์ ์ํํฉ๋๋ค.
- Spark: ์ค์๊ฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ๋ฉฐ, ๋น ๋ฅธ ์๋๋ก ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ ์ดํ๊ณ ๋ถ์ํ๋ ๋ฐ ํจ๊ณผ์ ์ ๋๋ค.
- Tableau: ๋ฐ์ดํฐ ์๊ฐํ ๋๊ตฌ๋ก, ๋ณต์กํ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฒ ์ดํดํ ์ ์๋๋ก ๋์ต๋๋ค. ๊ทธ๋ํฝ ํ์์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ํํํ์ฌ ์ธ์ฌ์ดํธ ๋ฐ๊ฒฌ์ ์ฉ์ดํ๊ฒ ํฉ๋๋ค.
์ด ์ธ์๋ R, Python, SAS ๋ฑ์ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์ ํต๊ณ ์ํํธ์จ์ด๋ ๋ฐ์ดํฐ ๋ถ์์ ํ์์ ์ ๋๋ค. ์ด๋ฌํ ๋๊ตฌ๋ค์ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ํตํฉํ๊ณ ๋ถ์ํ์ฌ ์ ๋ต์ ์๋ฏธ๋ฅผ ๋ฐ๊ฒฌํ๋๋ก ๋์ต๋๋ค.
๋น ๋ฐ์ดํฐ ๋ถ์ ๋ฐฉ๋ฒ๋ก
๋น ๋ฐ์ดํฐ ๋ถ์์๋ ์ฌ๋ฌ ๊ฐ์ง ๋ฐฉ๋ฒ๋ก ์ด ์กด์ฌํฉ๋๋ค. ์ด๋ค ๋ฐฉ๋ฒ๋ก ์ ๋ฐ์ดํฐ ๋ถ์์ ๋ชฉ์ ๊ณผ ์ํฉ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง ์ ์์ต๋๋ค. ๋ํ์ ์ธ ๋ฐฉ๋ฒ๋ก ์ผ๋ก๋ ์๋์ ๊ฐ์ ๊ฒ๋ค์ด ์์ต๋๋ค.
๊ธฐ์ ์ ๋ถ์
๊ธฐ์ ์ ๋ถ์์ ๊ณผ๊ฑฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ฏธ๋์ ๊ฒฝํฅ์ฑ๊ณผ ํจํด์ ์์ธกํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. ์ฃผ๋ก ๊ธ์ต ๋ถ์ผ์์ ์ฃผ๊ฐ ์์ธก์ ๋ง์ด ์ฌ์ฉ๋๋ฉฐ, ์๊ณ ๋ฆฌ์ฆ์ ํตํด ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๊ณ ์์ธก ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ ๊ณผ์ ์ ๋๋ค.
๊ธฐ๊ณํ์ต
๊ธฐ๊ณํ์ต์ ๋ฐ์ดํฐ๋ก๋ถํฐ ํจํด์ ํ์ตํ๊ณ ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ธก์ ์ํํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. ์ด ๋ฐฉ๋ฒ์ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ฉด์๋ ์ฌ๋์ ๊ฐ์ ์์ด๋ ๋ฐ๋ณต๋๋ ์์ ์ ์๋ํํ ์ ์๋ ์ฅ์ ์ด ์์ต๋๋ค.
์๋ฅผ ๋ค์ด, Amazon์ ์ํ ์ถ์ฒ ์์คํ ์ ๊ธฐ๊ณํ์ต์ ํตํด ๊ณ ๊ฐ์ ๊ตฌ๋งค ์ด๋ ฅ์ ๋ถ์ํ์ฌ ๊ฐ์ธํ๋ ์ถ์ฒ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ ๊ณ ๊ฐ ๋ง์กฑ๋๋ฅผ ๋์ด๊ณ ๋งค์ถ ์ฆ๋์ ๊ธฐ์ฌํ๋ ์ฌ๋ก์ ๋๋ค.
๋น ๋ฐ์ดํฐ ๋ถ์ ํ๋ก์ธ์ค
ํจ๊ณผ์ ์ธ ๋น ๋ฐ์ดํฐ ๋ถ์์ ์ํด ํ๋ก์ธ์ค๋ฅผ ์ ์ดํดํ๊ณ ์ํํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๋ถ์ ํ๋ก์ธ์ค๋ ํฌ๊ฒ ๋ค์๊ณผ ๊ฐ์ ๋จ๊ณ๋ก ๋๋์ด์ง๋๋ค.
- ๋ฌธ์ ์ ์: ๋ถ์ํ๊ณ ์ ํ๋ ๋ฌธ์ ์ ๋ชฉํ๋ฅผ ๋ช ํํ ํฉ๋๋ค.
- ๋ฐ์ดํฐ ์์ง: ๊ด๋ จ ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ ์ ์ฅํฉ๋๋ค.
- ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ: ์์ง๋ ๋ฐ์ดํฐ๋ฅผ ์ ์ ํ๊ณ ํ์ํ ํ์์ผ๋ก ๋ณํํฉ๋๋ค.
- ๋ฐ์ดํฐ ๋ถ์: ๋ค์ํ ๋ถ์ ๊ธฐ๋ฒ์ ์ ์ฉํ์ฌ ์ธ์ฌ์ดํธ๋ฅผ ๋์ถํฉ๋๋ค.
- ๊ฒฐ๊ณผ ๋์ถ ๋ฐ ์๊ฐํ: ๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๋ณด๊ณ ์๋ฅผ ์์ฑํ๊ณ , ๋ฐ์ดํฐ ์๊ฐํ ๋๊ตฌ๋ฅผ ํ์ฉํด ๊ฒฐ๊ณผ๋ฅผ ๋ช ํํ ์ ๋ฌํฉ๋๋ค.
- ๋ชจ๋ํฐ๋ง ๋ฐ ํผ๋๋ฐฑ: ๊ฒฐ๊ณผ๋ฅผ ์ง์์ ์ผ๋ก ๋ชจ๋ํฐ๋งํ๊ณ ํ์ํ ๊ฒฝ์ฐ ๋ฐ๋ณต์ ์ธ ๋ถ์์ ์ํํฉ๋๋ค.
์ด๋ฌํ ๊ณผ์ ์ ํตํด ๋ง์ ๊ธฐ์ ๋ค์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ํจ๊ณผ์ ์ผ๋ก ์ํํ๊ณ ์์ต๋๋ค.
๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ : ์ค์ ์ฌ๋ก
์ด์ ๊ตฌ์ฒด์ ์ธ ์ค ์ฌ๋ก๋ฅผ ํตํด ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ํจ๊ณผ๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค. ์ฌ๋ฌ ๊ธฐ์ ๋ค์ด ๋น ๋ฐ์ดํฐ ๋ถ์์ ํตํด ๋๋ผ์ด ์ฑ๊ณผ๋ฅผ ๋ฌ์ฑํ ๋ฐ ์์ต๋๋ค.
์๋ง์กด
์๋ง์กด์ ๋น ๋ฐ์ดํฐ ๋ถ์์ ์ฑ๊ณต์ ์ผ๋ก ์ ์ฉํ ๋ํ์ ์ธ ๊ธฐ์ ์ ๋๋ค. ๊ณ ๊ฐ์ ๊ตฌ๋งค ํจํด๊ณผ ๊ฒ์ ๊ธฐ๋ก์ ๋ถ์ํ์ฌ ๋ง์ถคํ ์ํ ์ถ์ฒ์ ์ ๊ณตํจ์ผ๋ก์จ, ๊ณ ๊ฐ์ ์ฌ๊ตฌ๋งค์จ์ ๋์ด๊ณ ์์ต๋๋ค. ์ด ๊ฒฐ๊ณผ, ์๋ง์กด์ ๋งค์ถ์ ์ง์์ ์ผ๋ก ์ฆ๊ฐํ๊ณ ์์ต๋๋ค.
๋ทํ๋ฆญ์ค
๋ทํ๋ฆญ์ค๋ ์์ฒญ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ์ฌ ์ฌ์ฉ์ ๋ง์ถคํ ์ถ์ฒ ์์คํ ์ ์ด์ํ๊ณ ์์ต๋๋ค. ์ด๋ก ์ธํด ์ฌ์ฉ์ ์ดํ๋ฅ ์ ๋ฎ์ถ๊ณ , ์ฌ์ฉ์ ๋ง์กฑ๋๋ฅผ ๊ทน๋ํํ๋ ๋ฐ ๊ธฐ์ฌํ๊ณ ์์ต๋๋ค. ๋ทํ๋ฆญ์ค์ ์ฑ๊ณต์ ์ธ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ฌ๋ก๋ ์ฌ๋ฌ ์ฐ์ ๋ถ์ผ์์ ๋ฒค์น๋งํฌ์ ๋์์ด ๋๊ณ ์์ต๋๋ค.
๊ฒฐ๋ก : ๋น ๋ฐ์ดํฐ ๋ถ์์ ๋ฏธ๋์ ์์ฌ๊ฒฐ์
๋ง์ง๋ง์ผ๋ก, ๋น ๋ฐ์ดํฐ ๋ถ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ํต์ฌ์ ๋๋ค. ๊ธฐ์ ์ ์์ง๋ ๋ฐ์ดํฐ๋ฅผ ํตํด ๊ณ ๊ฐ์ ์๊ตฌ๋ฅผ ์ดํดํ๊ณ , ์์ฅ ํธ๋ ๋๋ฅผ ์์ธกํ๋ฉฐ, ์ ๋ต์ ๊ฒฐ์ ์ ๋ด๋ฆด ์ ์์ต๋๋ค. ์ด๋ฌํ ์ญ๋์ ๊ฐ์ง๊ณ ์๋ ๊ธฐ์ ์ ๊ฒฝ์ ์์ฅ์์ ๋์ฑ ๋๋๋ผ์ง ์ฑ๊ณผ๋ฅผ ๋ผ ์ ์์ต๋๋ค.
์์์ ์ดํด๋ณธ ์ฌ๋ก๋ ๋น ๋ฐ์ดํฐ ๋ถ์์ ์ค์์ฑ๊ณผ ํจ๊ณผ๋ฅผ ๊ฐ์กฐํฉ๋๋ค. ๋ฐ์ดํฐ์ ํ์ ์๊ณ ์๋ ๊ธฐ์ ๋ค์ ๋ฐ์ดํฐ๋ฅผ ํตํด ์์ฌ๊ฒฐ์ ์ ๋์ฑ ์ ๊ตํ๊ฒ ์ํํ ์ ์์ต๋๋ค. ์ด์ ์ฌ๋ฌ๋ถ์ ๋น์ฆ๋์ค์์๋ ๋น ๋ฐ์ดํฐ ๋ถ์์ ํ์ ํ์ฉํ์ฌ ์ฑ๊ณต์ ์ธ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ํด๋ณด์๊ธฐ ๋ฐ๋๋๋ค.
์ฌ์ง: ๋น
๋ฐ์ดํฐ ๋ถ์์ ๊ฐ๋
์ฌ์ง: ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ํ๋ก์ธ์ค
์ด ๊ธ์ด ์ฌ๋ฌ๋ถ์ ๋น ๋ฐ์ดํฐ ๋ถ์ ์ดํด์ ํฐ ๋์์ด ๋์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค. ๋ฐ์ดํฐ๋ ์ค๋๋ ๋น์ฆ๋์ค์ ๊ฐ์ฅ ์ค์ํ ์์ฐ ์ค ํ๋์ ๋๋ค. ๋ฐ๋ผ์ ์ด๋ฅผ ํ์ฉํ์ฌ ํจ๊ณผ์ ์ธ ์์ฌ๊ฒฐ์ ์ ๋ด๋ฆฌ๋ ๊ฒ์ ํ์์ ์ ๋๋ค.
์์ ๋ฏธ๋์ด ํด์ ํ๊ทธ
#๋น ๋ฐ์ดํฐ #๋ฐ์ดํฐ ๋ถ์ #์์ฌ๊ฒฐ์ #๋ฐ์ดํฐ ๊ธฐ๋ฐ #Hadoop #Spark #๊ธฐ๊ณํ์ต #์๋ง์กด #๋ทํ๋ฆญ์ค #๋น์ฆ๋์ค ์ ๋ต