Browsed by
Month: 2019 1월

Hadoop 101: 하둡 클러스터 멀티노드 설치 AWS EC2

Hadoop 101: 하둡 클러스터 멀티노드 설치 AWS EC2

이 포스트에서는 3개의 EC2 인스턴스를 이용하여 하둡 멀티노드 클러스터를 구축할 것입니다. (하나는 마스터로, 나머지 두개는 슬레이브로). (AWS를 기본적으로 사용할 줄 아신다는 가정하에 포스팅을 작성할 건데, 혹시 한번도 써본적이 없으신 분들이 이 링크를 참고하세요! link) 맵리듀스, Map-reduce작업을 돌리려면 메모리가 충분해야 하기 때문에 t2.medium인스턴스 타입을 사용할 것입니다. (t2.medium인스턴스는 무료 범위가 아니기 때문에 과금에 될 수 있는데, 만약 학생이시라면 이 링크를 참조해서 $150 크레딧을 받아 가세요 link.) AWS EC2 t2.medium×3 (1 for a name node, 2 for data nodes) Ubuntu 18.04 Hadoop 3.1.1…

Read More Read More