๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
์นดํ…Œ๊ณ ๋ฆฌ ์—†์Œ

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ A to Z: ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ์™„๋ฒฝ ์ •๋ณต๋ฒ•

by ์™€์‚ฌ๋ตค 2025. 2. 4.
๋ฐ˜์‘ํ˜•

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ A to Z: ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ์™„๋ฒฝ ์ •๋ณต๋ฒ•

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์€ ํ˜„๋Œ€ ์‚ฌํšŒ์—์„œ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์€ ๊ธฐ์—…์˜ ๊ฒฝ์˜ ์ „๋žต์„ ์ฆ‰๊ฐ์ ์œผ๋กœ ๊ฐœ์„ ํ•  ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๊ณ ๊ฐ ๊ฒฝํ—˜์„ ํ–ฅ์ƒ์‹œํ‚ค๊ณ  ๋งค์ถœ์„ ์ฆ๊ฐ€์‹œํ‚ค๋Š” ๋ฐ ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค. ์ด ๊ธ€์—์„œ๋Š” ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ๊ฐœ๋…, ๋„๊ตฌ ๋ฐ ๋ฐฉ๋ฒ•๋ก , ๊ทธ๋ฆฌ๊ณ  ์ด๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์„ ์–ด๋–ป๊ฒŒ ์™„๋ฒฝํ•˜๊ฒŒ ์ •๋ณตํ•  ์ˆ˜ ์žˆ๋Š”์ง€์— ๋Œ€ํ•ด ์‹ฌ์ธต์ ์œผ๋กœ ๋‹ค๋ฃจ์–ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ์ •์˜์™€ ์ค‘์š”์„ฑ

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์ด๋ž€ ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘, ์ €์žฅ, ์ฒ˜๋ฆฌ, ๋ถ„์„ํ•˜์—ฌ ์œ ์šฉํ•œ ์ •๋ณด๋ฅผ ๋„์ถœํ•˜๋Š” ๊ณผ์ •์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ๋Š” ๊ณ ๊ฐ์˜ ํ–‰๋™ ํŒจํ„ด, ์‹œ์žฅ ํŠธ๋ Œ๋“œ, ์šด์˜ ํšจ์œจ์„ฑ ๋“ฑ์„ ์ดํ•ดํ•˜๋Š” ๋ฐ ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค. ์ •๋ณด์˜ ์–‘์ด ๊ธฐํ•˜๊ธ‰์ˆ˜์ ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๋Š” ์‹œ๋Œ€์—์„œ, ๋‹จ์ˆœํ•œ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘์œผ๋กœ๋Š” ์ถฉ๋ถ„ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ •๊ตํ•œ ๋ถ„์„ ๊ธฐ๋ฒ•์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ ๋‚ด ์ˆจ๊ฒจ์ง„ ์ธ์‚ฌ์ดํŠธ๋ฅผ ํŒŒ์•…ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ์ค‘์š”์„ฑ์€ ์—ฌ๋Ÿฌ ๋ถ„์•ผ์—์„œ ์ž˜ ๋‚˜ํƒ€๋‚ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ์˜๋ฃŒ ๋ถ„์•ผ์—์„œ๋Š” ํ™˜์ž์˜ ์ง„๋ฃŒ ๊ธฐ๋ก์„ ๋ถ„์„ํ•˜์—ฌ ์ตœ์ ์˜ ์น˜๋ฃŒ ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์†Œ๋งค ์—…๊ณ„์—์„œ๋Š” ์†Œ๋น„์ž ๊ตฌ๋งค ํŒจํ„ด์„ ๋ถ„์„ํ•˜์—ฌ ๋งž์ถคํ˜• ๋งˆ์ผ€ํŒ… ์ „๋žต์„ ์ˆ˜๋ฆฝํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์‚ฌ๋ก€๋“ค์€ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์ด ๋‹จ์ˆœํžˆ ์ด๋ก ์ด ์•„๋‹Œ ์‹ค์ œ๋กœ ๊ธฐ์—…์˜ ์„ฑ๊ณผ์— ์˜ํ–ฅ์„ ๋ฏธ์นœ๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ๋„๊ตฌ์™€ ๊ธฐ์ˆ 

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•œ ๋„๊ตฌ์™€ ๊ธฐ์ˆ ์€ ๋‹ค์ˆ˜ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์žฅ ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” ๋„๊ตฌ ๊ฐ€์šด๋ฐ ๋ช‡ ๊ฐ€์ง€๋ฅผ ์†Œ๊ฐœํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

  • Hadoop: ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ์‹œ์Šคํ…œ์œผ๋กœ, ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๋ฐ ์ €์žฅ์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค. ๋งŽ์€ ๊ธฐ์—…๋“ค์ด ์ด ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ๊ด€๋ฆฌ์™€ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.
  • Spark: ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋ฉฐ, ๋น ๋ฅธ ์†๋„๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์ œ์–ดํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ๋ฐ ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค.
  • Tableau: ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™” ๋„๊ตฌ๋กœ, ๋ณต์žกํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ๋•์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜ํ”ฝ ํ˜•์‹์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ํ‘œํ˜„ํ•˜์—ฌ ์ธ์‚ฌ์ดํŠธ ๋ฐœ๊ฒฌ์„ ์šฉ์ดํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

์ด ์™ธ์—๋„ R, Python, SAS ๋“ฑ์˜ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด์™€ ํ†ต๊ณ„ ์†Œํ”„ํŠธ์›จ์–ด๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„์— ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋„๊ตฌ๋“ค์€ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ฉํ•˜๊ณ  ๋ถ„์„ํ•˜์—ฌ ์ „๋žต์  ์˜๋ฏธ๋ฅผ ๋ฐœ๊ฒฌํ•˜๋„๋ก ๋•์Šต๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ฐฉ๋ฒ•๋ก 

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์—๋Š” ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•๋ก ์ด ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ์ด๋“ค ๋ฐฉ๋ฒ•๋ก ์€ ๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ๋ชฉ์ ๊ณผ ์ƒํ™ฉ์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋Œ€ํ‘œ์ ์ธ ๋ฐฉ๋ฒ•๋ก ์œผ๋กœ๋Š” ์•„๋ž˜์™€ ๊ฐ™์€ ๊ฒƒ๋“ค์ด ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ์ˆ ์  ๋ถ„์„

๊ธฐ์ˆ ์  ๋ถ„์„์€ ๊ณผ๊ฑฐ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋ฏธ๋ž˜์˜ ๊ฒฝํ–ฅ์„ฑ๊ณผ ํŒจํ„ด์„ ์˜ˆ์ธกํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ์ฃผ๋กœ ๊ธˆ์œต ๋ถ„์•ผ์—์„œ ์ฃผ๊ฐ€ ์˜ˆ์ธก์— ๋งŽ์ด ์‚ฌ์šฉ๋˜๋ฉฐ, ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๊ณ  ์˜ˆ์ธก ๋ชจ๋ธ์„ ๊ตฌ์ถ•ํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค.

๊ธฐ๊ณ„ํ•™์Šต

๊ธฐ๊ณ„ํ•™์Šต์€ ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ํŒจํ„ด์„ ํ•™์Šตํ•˜๊ณ  ์ด๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์˜ˆ์ธก์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ์ด ๋ฐฉ๋ฒ•์€ ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋ฉด์„œ๋„ ์‚ฌ๋žŒ์˜ ๊ฐœ์ž… ์—†์ด๋„ ๋ฐ˜๋ณต๋˜๋Š” ์ž‘์—…์„ ์ž๋™ํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด, Amazon์˜ ์ƒํ’ˆ ์ถ”์ฒœ ์‹œ์Šคํ…œ์€ ๊ธฐ๊ณ„ํ•™์Šต์„ ํ†ตํ•ด ๊ณ ๊ฐ์˜ ๊ตฌ๋งค ์ด๋ ฅ์„ ๋ถ„์„ํ•˜์—ฌ ๊ฐœ์ธํ™”๋œ ์ถ”์ฒœ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๊ณ ๊ฐ ๋งŒ์กฑ๋„๋ฅผ ๋†’์ด๊ณ  ๋งค์ถœ ์ฆ๋Œ€์— ๊ธฐ์—ฌํ•˜๋Š” ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ํ”„๋กœ์„ธ์Šค

ํšจ๊ณผ์ ์ธ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•ด ํ”„๋กœ์„ธ์Šค๋ฅผ ์ž˜ ์ดํ•ดํ•˜๊ณ  ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๋ถ„์„ ํ”„๋กœ์„ธ์Šค๋Š” ํฌ๊ฒŒ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‹จ๊ณ„๋กœ ๋‚˜๋ˆ„์–ด์ง‘๋‹ˆ๋‹ค.

  1. ๋ฌธ์ œ ์ •์˜: ๋ถ„์„ํ•˜๊ณ ์ž ํ•˜๋Š” ๋ฌธ์ œ์™€ ๋ชฉํ‘œ๋ฅผ ๋ช…ํ™•ํžˆ ํ•ฉ๋‹ˆ๋‹ค.
  2. ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘: ๊ด€๋ จ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
  3. ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ: ์ˆ˜์ง‘๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ •์ œํ•˜๊ณ  ํ•„์š”ํ•œ ํ˜•์‹์œผ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  4. ๋ฐ์ดํ„ฐ ๋ถ„์„: ๋‹ค์–‘ํ•œ ๋ถ„์„ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ์ธ์‚ฌ์ดํŠธ๋ฅผ ๋„์ถœํ•ฉ๋‹ˆ๋‹ค.
  5. ๊ฒฐ๊ณผ ๋„์ถœ ๋ฐ ์‹œ๊ฐํ™”: ๋ถ„์„ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋ณด๊ณ ์„œ๋ฅผ ์ž‘์„ฑํ•˜๊ณ , ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™” ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•ด ๊ฒฐ๊ณผ๋ฅผ ๋ช…ํ™•ํžˆ ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค.
  6. ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐ ํ”ผ๋“œ๋ฐฑ: ๊ฒฐ๊ณผ๋ฅผ ์ง€์†์ ์œผ๋กœ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๊ณ  ํ•„์š”ํ•œ ๊ฒฝ์šฐ ๋ฐ˜๋ณต์ ์ธ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ๊ณผ์ •์„ ํ†ตํ•ด ๋งŽ์€ ๊ธฐ์—…๋“ค์€ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์„ ํšจ๊ณผ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •: ์‹ค์ œ ์‚ฌ๋ก€

์ด์ œ ๊ตฌ์ฒด์ ์ธ ์‹ค ์‚ฌ๋ก€๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์˜ ํšจ๊ณผ๋ฅผ ์‚ดํŽด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ๊ธฐ์—…๋“ค์ด ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ํ†ตํ•ด ๋†€๋ผ์šด ์„ฑ๊ณผ๋ฅผ ๋‹ฌ์„ฑํ•œ ๋ฐ” ์žˆ์Šต๋‹ˆ๋‹ค.

์•„๋งˆ์กด

์•„๋งˆ์กด์€ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์„ฑ๊ณต์ ์œผ๋กœ ์ ์šฉํ•œ ๋Œ€ํ‘œ์ ์ธ ๊ธฐ์—…์ž…๋‹ˆ๋‹ค. ๊ณ ๊ฐ์˜ ๊ตฌ๋งค ํŒจํ„ด๊ณผ ๊ฒ€์ƒ‰ ๊ธฐ๋ก์„ ๋ถ„์„ํ•˜์—ฌ ๋งž์ถคํ˜• ์ƒํ’ˆ ์ถ”์ฒœ์„ ์ œ๊ณตํ•จ์œผ๋กœ์จ, ๊ณ ๊ฐ์˜ ์žฌ๊ตฌ๋งค์œจ์„ ๋†’์ด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฐ๊ณผ, ์•„๋งˆ์กด์˜ ๋งค์ถœ์€ ์ง€์†์ ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๋„ทํ”Œ๋ฆญ์Šค

๋„ทํ”Œ๋ฆญ์Šค๋Š” ์‹œ์ฒญ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜์—ฌ ์‚ฌ์šฉ์ž ๋งž์ถคํ˜• ์ถ”์ฒœ ์‹œ์Šคํ…œ์„ ์šด์˜ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋กœ ์ธํ•ด ์‚ฌ์šฉ์ž ์ดํƒˆ๋ฅ ์„ ๋‚ฎ์ถ”๊ณ , ์‚ฌ์šฉ์ž ๋งŒ์กฑ๋„๋ฅผ ๊ทน๋Œ€ํ™”ํ•˜๋Š” ๋ฐ ๊ธฐ์—ฌํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋„ทํ”Œ๋ฆญ์Šค์˜ ์„ฑ๊ณต์ ์ธ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ์‚ฌ๋ก€๋Š” ์—ฌ๋Ÿฌ ์‚ฐ์—… ๋ถ„์•ผ์—์„œ ๋ฒค์น˜๋งˆํฌ์˜ ๋Œ€์ƒ์ด ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฒฐ๋ก : ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ๋ฏธ๋ž˜์™€ ์˜์‚ฌ๊ฒฐ์ •

๋งˆ์ง€๋ง‰์œผ๋กœ, ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์€ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์˜ ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค. ๊ธฐ์—…์€ ์ˆ˜์ง‘๋œ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ด ๊ณ ๊ฐ์˜ ์š”๊ตฌ๋ฅผ ์ดํ•ดํ•˜๊ณ , ์‹œ์žฅ ํŠธ๋ Œ๋“œ๋ฅผ ์˜ˆ์ธกํ•˜๋ฉฐ, ์ „๋žต์  ๊ฒฐ์ •์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์—ญ๋Ÿ‰์„ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๊ธฐ์—…์€ ๊ฒฝ์Ÿ ์‹œ์žฅ์—์„œ ๋”์šฑ ๋„๋“œ๋ผ์ง„ ์„ฑ๊ณผ๋ฅผ ๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์œ„์—์„œ ์‚ดํŽด๋ณธ ์‚ฌ๋ก€๋Š” ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ์ค‘์š”์„ฑ๊ณผ ํšจ๊ณผ๋ฅผ ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ์˜ ํž˜์„ ์•Œ๊ณ  ์žˆ๋Š” ๊ธฐ์—…๋“ค์€ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ด ์˜์‚ฌ๊ฒฐ์ •์„ ๋”์šฑ ์ •๊ตํ•˜๊ฒŒ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์—ฌ๋Ÿฌ๋ถ„์˜ ๋น„์ฆˆ๋‹ˆ์Šค์—์„œ๋„ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ํž˜์„ ํ™œ์šฉํ•˜์—ฌ ์„ฑ๊ณต์ ์ธ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ •์„ ํ•ด๋ณด์‹œ๊ธฐ ๋ฐ”๋ž๋‹ˆ๋‹ค.

์‚ฌ์ง„: ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ๊ฐœ๋…
์‚ฌ์ง„: ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ํ”„๋กœ์„ธ์Šค

์ด ๊ธ€์ด ์—ฌ๋Ÿฌ๋ถ„์˜ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ดํ•ด์— ํฐ ๋„์›€์ด ๋˜์—ˆ๊ธฐ๋ฅผ ๋ฐ”๋ž๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๋Š” ์˜ค๋Š˜๋‚  ๋น„์ฆˆ๋‹ˆ์Šค์˜ ๊ฐ€์žฅ ์ค‘์š”ํ•œ ์ž์‚ฐ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ํšจ๊ณผ์ ์ธ ์˜์‚ฌ๊ฒฐ์ •์„ ๋‚ด๋ฆฌ๋Š” ๊ฒƒ์€ ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.

์†Œ์…œ ๋ฏธ๋””์–ด ํ•ด์‹œ ํƒœ๊ทธ

#๋น…๋ฐ์ดํ„ฐ #๋ฐ์ดํ„ฐ ๋ถ„์„ #์˜์‚ฌ๊ฒฐ์ • #๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ #Hadoop #Spark #๊ธฐ๊ณ„ํ•™์Šต #์•„๋งˆ์กด #๋„ทํ”Œ๋ฆญ์Šค #๋น„์ฆˆ๋‹ˆ์Šค ์ „๋žต

๋ฐ˜์‘ํ˜•