약 4개월 전 TO-BE Cluster 에 최신 버전 업그레이드를 한 바 있었는데.. 금일 TO-BE 클러스터에 0.26.0 으로 다시 클러스터 버전을 업그레이드 해보았다. 고세 TO-BE 클러스터의 갯수가 3배 이상 늘어 났기도 하고...
(*주의* : 2015년 12월 30일 현재 Spark 1.5.1과 본 Mesos 버전에는 일부 so모듈상에 호환성 문제가 발견되고 있음.)
DevOps 환경인지라...TO-BE 라고는 하지만, 부분 적으로 AS-IS 운영 모드로도 사용 중인 지라, 당분간 Adhoc 배치 위주로 버전 업 된 Mesos 환경에서 여러가지 AS-IS 모듈들을 돌려 보아야 하겠다. 아래는 디테일한 튜닝 작업 전 기본 세팅 버전의 설치 스크립트 이다.
무슨 일기 쓰는 느낌이네...
- Download 및 설치 준비
- wget http://apache.mirror.cdnetworks.com/mesos/0.26.0/mesos-0.26.0.tar.gz
- tar xvzf mesos*.tar.gz
- cd mesos-0.26.0
- sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
- epel-release 설치
sudo yum install -y epel-release
- Mesos dependency 모듈 설치
- dependency 프로그램을 위한 추가 설정
$ sudo cat > /etc/yum.repos.d/wandisco-svn.repo <<EOF [WANdiscoSVN] name=WANdisco SVN Repo 1.9 enabled=1 baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/ gpgcheck=1 gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco EOF
sudo yum update systemd
sudo yum groupinstall -y "Development Tools"
sudo yum install -y apache-maven python-devel java-1.8.0-openjdk-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel subversion-devel apr-util-devel
- Mesos 설치
- cd mesos폴더
- ./bootstrap
- mkdir build
- cd build
- ../configure
- make -j (core갯수) V=0
- make check
- sudo make install
- Master Node Running Script
- work_dir 설정
- mkdir /data02/mesos
- build/bin 아래에 run script 만듦.
- /data01/mesos/mesos-0.26.0/build/bin/mesos-master.sh --ip=서버IP --work_dir=/data02/mesos &
- 구동.
- Slave Node Running Script
- build/bin 아래에 run script 만듦.
- /data01/mesos/mesos-0.26.0/build/bin/mesos-slave.sh --master=서버IP --work_dir=/data02/mesos &
- 구동
- Web 관리 콘솔 구동
- http://masterNo_IP:5050
안녕하세요 spark 이제 좀 해보고있는 개발자입니다.
답글삭제Mesos 최신버전 깔아보고있는데, 예전 글과 짬뽕해서 잘 적용해보고있습니다.
좋은글 감사드리고 싶어서 댓글 달아요:)