Spark 설치기 3 - Stand Alone on a Cluster 설치

우선 클러스터 모드 설치에 앞서 이론 공부 부터...
https://spark.apache.org/docs/latest/cluster-overview.html

그리고 설치 가이드 문서 정독하기.
https://spark.apache.org/docs/latest/spark-standalone.html

(1) 복수개의 데이타 노드와 마스터 노드에 파일 다운로드
다운로드 경로는 skip. 설치기2에서 사용했던 file 을 그대로 사용하였다.

(2) 그리고 압축 풀기.. (모든 마스터노드와 데이타노드에서..)
tar xvzf spark-1.1.0-bin-hadoop1.tgz

(3) Master Node 에서 아래 명령어 수행하여 일단 Master Node 만 띄운다.

./sbin/start-master.sh

(4) 웹UI뜨는지 확인
(default port 는 8080 인데, 우리는 storm web ui 가 해당 port 를 이미 사용중이다.)
(에러 날 줄 알았는데, 수행해보니 에러가 나지 않길래 log를 상세하게 뒤져보니 warning 만 뜨고, 해당 port 가 사용중이라 8081 로 시도한다는 문구가 보인다.)
아래 이미지 처럼 아직은 worker node 가 모두 떠 있지 않은 상태임.

(5) 각 DataNode 로 가서 Worker 구동

cd /data01/spark

tar xvzf spark-1.1.0-bin-hadoop1.tgz

cd spark-1.1.0-bin-hadoop1

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://master003.prod.moneymall.ssgbi.com:7077

ctrl+z

bg 

요부분은 메뉴얼에 없는 부분인데. 백그라운드 수행이 자동으로 되지 않고 있다. 수동으로 해주었지만, 사실, 운영시에는 요 방식이 아닌 뒤이어 실험할, Cluster Launch Scripts 방식으로 가야 할듯.

worker 노드 구동 확인

전체 노드에 대하여 위 작업 수행.

위 작업 이후 Master Node 에서 Worker 들이 모두 구동 되었는지 확인.

요기까진 아무런 막힘이 없었다. 우선 몸풀기 정도로 생각하고, 현재 세팅은 여기서 마무리...

일요일 오후... 다행히 내일이 휴가인지라... 오늘 저녁엔 저걸 다 내리고, 운영용으로 재 세팅을 할 예정이다.