파일이 크지만, 영구적으로 저장될 필요가 없는 경우에는 S3를 사용하는게 꼭 최선이 아닐 수 있습니다. 최근에 비디오 관련된 작업을 한적이 있었는데, 다운로드를 하고 분석을 한뒤에 삭제를 하면 되는 과정이였습니다. 물론 분석과정에 많은 인스턴스들이 투입이 되어야 하는 로직이였습니다. 제 경우에 가장 중요한 포인트는, S3를 사용하지 않고, 여러 인스턴스들이 동일한 파일에 접근하는 것입니다. 그래서, AWS의 EFS를 Network File System (NFS)으로 사용하기로 했습니다. OS: ubuntu 18.04 1. EFS 런칭 AWS Management Console에서 EFS를 찾으세요. Create file system button을 클릭 하세요 아무 이름이나 지으세요 끝!…
Environment: Ubuntu 18.04 Error 1. OSError: mysql_config not found Solution 1 Error 2. unable to execute ‘x86_64-linux-gnu-gcc’: No such file or directory Solution 2 Error 3. MySQLdb/_mysql.c:46:10: fatal error: Python.h: No such file or directory Solution 3 Final Code Happy Coding!
이번 포스팅에서는 API 게이트웨이를 활용하여, EC2 인스턴스에 프록시로서 연결하는 방법에 대해서 소개해드리겠습니다. 일반적으로, AWS Lambda의 API를 만들때 API gateway를 활용하곤 합니다. 그런데, 몇몇 경우에는 EC2에 Proxy를 만들어서 사용 해야 하는 경우가 있습니다. (저 같은 경우에는 사실, 단지 SSL 인증서가 필요한 경우였는데, ELB를 달고, Certificate Manager에 Route53까지 하는 과정이 너무 과하다 싶어서 API Gateway를 이용했습니다. ㅎㅎ) 일단 지난 포스팅에서 소개했던 방식으로 저희가 EC2 인스턴스에 Flask 서버 하나를 돌리고 있다고 가정하겠습니다. “http://x.x.x.x:5000/ “.라는 서버에 API Gateway를 연결 해보도록 하겠습니다. 아래 그림만 가볍게…
안녕하세요! 지난 포스트에서는 하둡 환경을 직접 구성하는 작업을 해봤습니다. 네! 좀 번거롭죠.. 특별히 튜닝한 환경이 필요하지 않은 한 매번 세팅하기가 좀 힘듭니다. 그래서 이번 포스트에서는 하둡 클러스트를 쉽게 배포하고 사용하는 방법에 대해 알아보겠습니다. AWS의 EMR이라는 서비스를 이용해서, MRJob이나 PySpark를 테스트해보도록 하겠습니다. 파트 1 포스트에서는, 그냥 최대한 간단하게 론칭하고 예제 코드를 돌려보는 정도로만 해보겠습니다. (인스턴스 그냥 만들어 놓고 HDFS를 이용해서 파일 처리하고) 그리고 파트 2부터는 조금 더 제대로 EMR을 사용해보도록 하겠습니다. (AWS CLI 이용하고, S3에 저장하고) 다시 말씀드리지만, 만약 AWS 크레디트가 없는 분들은 이 링크를 활용해서 한번 본인이 받을 수 있는지 확인해보세요! STEP 1….
이 포스트에서는 3개의 EC2 인스턴스를 이용하여 하둡 멀티노드 클러스터를 구축할 것입니다. (하나는 마스터로, 나머지 두개는 슬레이브로). (AWS를 기본적으로 사용할 줄 아신다는 가정하에 포스팅을 작성할 건데, 혹시 한번도 써본적이 없으신 분들이 이 링크를 참고하세요! link) 맵리듀스, Map-reduce작업을 돌리려면 메모리가 충분해야 하기 때문에 t2.medium인스턴스 타입을 사용할 것입니다. (t2.medium인스턴스는 무료 범위가 아니기 때문에 과금에 될 수 있는데, 만약 학생이시라면 이 링크를 참조해서 $150 크레딧을 받아 가세요 link.) AWS EC2 t2.medium×3 (1 for a name node, 2 for data nodes) Ubuntu 18.04 Hadoop 3.1.1…