SK
-
[엔터프라이즈 데이터 플랫폼 구축] 1. 빅데이터 기술 기초 다지기Software Development/Data Platform 2022. 1. 15. 19:30
엔터프라이즈 데이터 플랫폼 구축을 읽고 요약, 정리 및 개인적인 의견을 담기위해 이 글을 씁니다. 하둡에 영감을 준 구글에서 발행한 논문들의 내용을 보면 이런 시스템을 만들게 된 이유는 순수하게 정말로 필요했기 때문이었다. 당시에는 이런 기술이 아예 존재하지 않았다. 대규모 데이터를 처리하려면 다수의 프로세서와 다수의 메모리를 장학한 소수의 고사양 서버를 도입하고, NAS나 SAN에 저장된 데이터를 고사양 서버에 보내서 처리하고, 결과를 다시 스토리지에 저장하는 방법밖에 없었다. 이 방식은 현실성과 비용 효율성이 떨어지게 되었다. 기존 기술도 다수의 서버에서 실행도리 수 있지만, 분산된 컴포넌트 사이의 커뮤니케이션에 크게 의존해야 했는데, 이런 방식은 임달의 법칙에 따라 병렬성이 증가할수록 효율은 떨어지..