Spark 설치기 5 - Cluster Installation with Cluster Launch Scripts

이레 저레 벌써 새벽 0시 22분...

잠을 청하기에 앞서... 드디어... Cluster Launch Scripts 를 가지고 Cluster 위에 재대로 (운영 수준으로) 클러스터를 설치 해보기로 하겠다...

우선 선행적으로 필요한 것은 아래와 같다.

(1) password-less ssh 세팅...
- 이미 세팅 되어 있으므로 skip..

(2) SPARK_HOME 수정.
- 우리 cluster 는 spark 0.9.1 버전을 깔았었던 이력이 있으므로, .bashrc  안에 있는 잔해를 수정해주었다.
- 그러고 보니 spark 0.9.X 버전 대에는 sbt 로 패키지 설치를 했던 기억이....

SPARK_HOME=/data01/spark/spark-1.1.0-bin-hadoop1
export SPARK_HOME

(3) 이제 본격적으로 세팅.
(ㄱ) cd $SPARK_HOME/conf
(ㄴ) mv spark-env.sh.template spark-env.sh
(ㄷ) vi slaves  하고 각 WorkNode 의 호스트명 기입.
(ㄹ) vi spark-env.sh 하고 최 하단에 아래 기입. 인스턴스 갯수를 2개로 설정했기 때문에, 한 머신당 8g 메모리가 할당 되도록 세팅하였다. 적절한 메모리 세팅은 추후 운영상황을 보며 조정하여야 할 테지만, 우선은 매우 적게 보수적으로 세팅 하였다.

SPARK_MASTER_IP=master003.prod.moneymall.ssgbi.com
SPARK_WORKER_MEMORY=4g
SPARK_WORKER_INSTANCES=2

(ㅁ) 마지막으로 마스터 노드의 sbin 디렉토리에서 아래 script 수행.

./start-all.sh

에러 하나 없이 깔끔하게 설치 되었다.

오늘은 여기까쥐.... 자야겠다.