티스토리 뷰

올해 6월 샌프란시스코 산호세에서 열린 하둡서밋 2014와 LA에서 열린 빅데이터캠프를 다녀왔습니다. 귀국 한지 두 달이 되어가는데, 이제야 글을 올리네요.



하둡서밋은 하둡월드와 함께 2대 하둡 컨퍼런스 중의 하나이며, 글로벌 하둡 개발사인 호튼웍스가 주최를 하는데요. 매년 하둡서밋에서는 그 해의 최신 하둡 기술 트랜드와 다양한 하둡 운영 노하우가 공개됩니다.


1. Theme


그럼 이번 하둡서밋에서는 어떤 기술이 중심에 있었을까요? 이번 컨퍼런스의 키워드는 바로 YARN이였습니다. 키노트부터, 세부 프로그램까지 YARN을 집중적으로 소개했는데요.


YARN이 왜 필요한지 키노트와 다양한 세션에서 반복해서 강조를 했으며, YARN 기반 애플리케이션은 어떻게 개발하는지, 어떤식으로 운영을 해야할지, 기존 하둡 에코 시스템과 어떻게 연계하는지, 그리고 앞으로의 청사진등 다양한 세션이 있었습니다. 한마디로 이 행사의 메인 스폰서인 호튼웍스가 얼마나 YARN을 전략적으로 밀고 있는지, 체감할 수 있었습니다.


두번째로 중요한 주제는 SQL On Hadoop입니다. 이 분야에 조금이라도 관심이 있다면, 이 시장의 제품들이 얼마나 뜨겁게 경쟁하고 있는지를 아실텐데요. Apache Tajo, Impala, Hive Stinger, Drill, BigSql, Presto 등 다양한 솔루션들의 세션이 있었습니다. 그리고 기업 홍보부스에서는 앞서 설명한 제품들 외에 더 다양한 솔루션들이 전시되어 있었습니다.





제가 커미터로 참여하고 있는 Apache Tajo도 초대를 받아서, Tajo의 chair인 최현식 박사님이 발표를 했는데요. 이렇게 쟁쟁한 회사들의 제품들과 어깨를 나란히 할 수 있다는 게 얼마나 감격스러웠는지 모릅니다.


세번째로 중요한 주제는 바로 Spark이였습니다. 버클리대에서 시작한 인메모리 기반의 Spark 은 이미 국내에서도 많은 주목을 받고 있는데요. 하둡서밋에서도 Spark에 대한 열기가 매우 뜨거웠습니다.


개인적으로 추천하고 싶은 세션은 클라우데라 엔지니어가 OS 설정으로 하둡을 튜닝하는 노하우, 그리고 트위터 엔지니어가 공유한 하둡2 클러스터 운영 노하우였습니다. 발표 자료와 동영상은 꼭 보시길 추천합니다. 


참고로 올해 하둡 서밋 프로그램의 발표자료와 동영상은 아래 링크에서 확인할 수 있습니다.

http://hadoopsummit.org/san-jose/schedule/


2. Community


우리나라 개발자 세미나를 참관해보면, 대부분은 세미나 끝나고 집(혹은 직장)으로 직행을 하고, 세미나 중에도 주위의 개발자들과 네트워크를 만들지 안습니다. 그런데 미국은 정반대였습니다. 세미나 중에도 세미나 장 밖에서 다양한 토론 혹은 네트워킹을 하더군요. 심지어 주최측은 뒷풀이 파티까지 열어서 네트워킹을 도왔는데요. 작년 Deview 의 BOF와 커뮤니티 세미나 후 뒷풀이를 생각하니, 그들의 문화가 참 부러웠습니다.




3. Food


대부분의 국내 세미나는 세미나 입장 시에 명찰 체크를 잘 안하는데요. 미국은 생각보다, 더 꼼꼼하게 보더군요. 그 중에 제일 빡빡하게 관리한 곳은 바로 식사와 음료가 준비된 연회장이였습니다. 명찰 없이 이 곳을 들어가면, 바로 경비가 끌고 나가더군요.ㅎㅎ


그 이유는 바로 왠만한 호텔 조식 뷔페와 겨뤄도 손색이 없을 정도의 음식이 준비되어 있었기 때문인데요. 스타벅스 무한리필과 질 좋은 간식들은 지금도 그립네요. ㅎㅎ








4. Recruiting


하둡서밋과 하둡월드는 다양한 회사들의 엔지니어 확보의 장이기도 합니다. 세미나장 한 편에는 이름만 들의면 알만한 글로벌 개발사들의 구인글이 도배되어 있습니다.







5. Thinking


이번 세미나 중 가장 인상적인 세션은 페이스북 엔지니어들의 Presto 발표였습니다. 사실 발표 내용 보다는 QA 시간이 기억에 남습니다. 어떤 사람이 왜 너희는 무거운 질의가 지원되는 Workload는 지원하지 않느냐고 물으니, 페이스북 엔지니어는 그게 우리 페이스북 Workload에 맞기 때문이라고 쿨하게 답했습니다. 답변을 들은 사람도 쿨하게 수긍했는데요.


설계 원칙대로 제품을 유지하는 자세와 또 그 자세를 인정하는 모습이 정말 인상적이었습니다.

또 한 가지 인상적인 점은 상대방을 존중하는 그들의 매너였습니다. 우연히 경쟁 제품인 jethro data의 대표를 만났는데, 이미 Tajo에 대해 알고 있고, 멋진 제품이라고 응원하더군요.

물론 그들의 전시부스에는 Tajo 보다 성능이 빠르다는 문구도 있었는데요.립서비스라고 하더라도, 경쟁상대를 존중하는 점은 배울 점이라고 생각합니다.





마지막으로 이런 좋은 기회를 주신 대표님과 출장을 갈 수 있도록 배려해준 동료들에게 다시 한번 감사드립니다.

저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License
댓글
댓글쓰기 폼