사실 Spark 는 수도없이 깔아보았지만, 그동안은 익숙한 HiveQL을 함께 쓰기 위해 항상 Shark 와 함께 깔수 있는 0.9.X 버전만 깔아왔었다...(이참에는 1.1.0 을 깔것이다.)
그리고, 만났던 수많은 Heap Memory 관련 에러들....
한때, 메모리 Cache 부분을 조금더 효율적으로 사용하고자, Shark + Spark + Tachyon 조합으로 시스템을 재 구성하여 설치 시도도 해 보았었다.
결론은... 테스트로 한두개 돌리는 것은 꽤 좋은 성능을 보이고, 매우 고무적이었다. 그러나, 운영시스템에서 실제 운영용 배치로 스케줄에 걸어 여러 Job 과 함께 사용을 하면, 역쉬나 수많은 Memory 관련 에러로 유지 자체가 힘들 다는 것..
그래서 선택한 아키텍처는.... Shark 와 Tachyon 까지 없애고, 그냥... Spark 만 쓰는 것...
Simple is best 라는 말이 있듯이....기본이 불안한 경우는 기본을 불안하게 만드는 곁가지들을 모두 제거하는 것.
이제와서 Spark 를 포기하고 싶지는 않고, 그동안 Shark , Tachyon 와의 궁합때문에 어쩔수 없이 사용하지 못했던 최신 1.1.0 버전으로 다시한번 도전해 보기로 하였다.
물론 Shark 를 걷어 냈으므로, Scala 로 M/R 을 짤 예정이기도 하다.. 내가 이를 위해 정독 중인 Scala 서적...
그리고, 엊그제 Amazon 에서 구매한 Spark 서적. 따끈하다 못해 심지어 출판 예정일이 내년2월인 미출시 서적의 Early_released 버전 ebook 이다.
이놈의 기술 역마살 때문에.... 한권을 다 읽기도 전에 두번째 서적을 사서 읽기 시작하면서, 두권을 다 읽기도 전에 (운영모드 포함)설치를 동시에 착수하고 있다...
댓글 없음:
댓글 쓰기