DEVIEW 2015 참석 후기

DEVIEW 2015, 두 번째 날(2015-09-15) 참석 후기 내용입니다.
대부분 세션이 빅데이터, 분산처리 내용였고, 신생 프로젝트들에 대한 것들과, 

실무에 적용사례등을 소개하는 자리였습니다.

서울, 코엑스 그랜드볼룸 홀에서 진행이 됐으며, 시간마다 4개의 트랙 중 하나의 트랙을 선택하여 들었습니다.

시간	주제	발표자	발표자료
10:00 ~ 10:50	Data science with Apache Zeppelin	이문수 | NFLabs	클릭
11:00 ~ 11:50	Docker Orchestration	이종현 | NAVER	클릭
12:00 ~ 12:50	슈퍼컴퓨팅과 데이터 어낼리틱스 프래임워크, 그리고 UNIST의 빅데이터 처리 프레임워크	남범석 | 울산과학기술원	클릭
14:10 ~ 15:00	Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현	이승진 | NAVER	클릭
15:10 ~ 16:00	Presto 내부 구조 파헤치기	유동민 | TreasureData	클릭
16:10 ~ 17:00	코끼리 냉장고에 집어 넣기 - 실시간 추천엔진을 머신 한대에 구겨넣기	하용호 | 넘버웍스	클릭

Data science with Apache Zeppelin

제플린은 국내 오픈소르로 시작되어 아파치 인큐베이팅된 프로젝트로,
데이터 분석가와 개발자들을 위한 분 웹기반 노트북, 시각화 툴이다.
웹 폐지에서 쿼리나, 소스를 바로 작성하고 실행시킬 수 있고, 
다양한 백엔드 엔진 실행 결과를 서로 인터랙티브 하게 공유할 수 있다.
웹페이지 형태나, 그래프로 바로 표현이 가능하다.
현재까지는 멀티 유저 지원이나, ACL 등의 기능이 제공 되지 않아서, 
앞단에서 Proxy 인증 서버를 따로 두고, 사용자별로 인스턴스를 생성하는 방법으로 처리를 해야 함.

제플린을 사내에서 활용하면, 데이터 분석 노트북을 작성하여, 손쉽게 그래프를 작성하고 수정할 수 있고,
공유할 수 있어서 회의나 보고서 작성 시 유용할 것으로 보입니다.

Docker Orchestration

소스를 어떻게 효율적으로 서비스화 할지에 대한 고민과, 네이버에서 개발 중인 시스템에 대한 발표입니다.
도커를 이용하여, 사용자마다 빌드 서버 환경을 제공하여, 서버 효율성을 높이고, 
빌드 환경을 커스터마이징이 가능하도록 합니다.
배포 == 롤백 이 되도록 하고, 배포 패키지를 관리하여 언제든지 해당 배포 상태로 돌아가도록 관리합니다.

현재 개발 중인 도커 시스템은 자동으로 도커 클러스터에, 이미지를 배포하고, 서비스하는 시스템으로 
컨테이너 설정 연동, 이중화, 하나의 이미지 Local/Cluster에서 모두 가 동작할 수 있도록 합니다.
오픈소스 kubernetes를 베이스로 사용하고, 필요한 부분은 패치하고, 개발할 계획이라고 합니다.

슈퍼컴퓨팅과 데이터 어낼리틱스 프래임워크, 그리고 UNIST의 빅데이터 처리 프레임워크

슈퍼컴퓨팅과 빅데이터의 차이와 같이 나아가야 할 방향성에 대해서 이야기하고, UNIST에서 개발 중인
빅데이터 처리 프레임워크에 대한 설명입니다.
하둡같은 프로젝트들이 HPC에서 예전에 구현되었다는 게 흥미로웠습니다.
UNIST에서 개발 중인 빅데이터 처리 프레임워크는 카산드라에서 사용하는 
CHORD DHT(Distributed Hash Table) 분산 해시 테이블을 이용하여, 중앙화 되지 않은 데이터 스트럭처로, 결함 내성이 있고, 확장성이 좋으며, 빠른 데이터 검색을 할 수 있다고 합니다. 

Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현

Storm과 Elasticsearch를 이용하여 로그 실시간 알람 시스템에 대한 내용으로, 
기존 시스템의 문제점과 이를 elasticsearch의 페코레이터를 이용해 해결한 방법에 대한 내용입니다.
엘라스틱 서치에 저장된 로그를 검색한 쿼리와 실제 알람 시 매치하는 쿼리가 달라서 문제가 되고 있었는데,
페코레이터를 이용하여 역검색을 하는 방법으로 이를 해결한 것이 인상적입니다.

Presto 내부 구조 파헤치기

Presto 동작 구조에 대한 내용입니다.
Hive와 같은 분산 쿼리 엔진으로, Hive와 유사한 부분이 매우 많고, 
평균 10배 정도 빠른 속도를 내고 있다고 합니다.
마스터와 슬레이브 통신에 모드 Rest 통신을 하고 있다고 하고, 메타 스토어로 Hive를 지원합니다.
하나의 쿼리로, hive와 mongo 데이터를 조인하여, mysql에 데이터를 넣을 수 있다고 합니다.

코끼리 냉장고에 집어넣기 - 실시간 추천 엔진을 머신 한대에 구겨 넣기

구글 논문에서 소개된 추천 엔진 만드는 방법과, 이를 개선하여 머신 한대에서 글로벌 서비스가 
가능한 추천엔진 만드는 방법에 대한 소개입니다.
minhash의 특성과 수학을 잘 활용하여, 실시간 추천 엔진을 만드는 방법이 놀라웠습니다.
마지막 장 교훈 "확률적 자료구조를 사용하고 근본 원리에 대해 고민한다면 커다락 혁신이 가능하다"
처럼 혁신적인 개발을 한번 해보고 싶다는 생각이 들었습니다.

DEVIEW 2015 Schedule