끄적 끄적 로깅! 로깅!

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677%pyspark import refrom pyspark.sql import Rowfrom pyspark.sql.types import * APACHE_ACCESS_LOG_PATTERN = '(\S+) (\S+) (\S+) \[([^\]]*)\] \"([^\"]*)\"(?: (\S+) (\S+) ([^ \"]*|\"[^\"]*\") (\".*\")?)? (\S+) (\S+)' def parse_apache_log_line(logline): match ..

Architectureflume or fluentd or logstash kafkaapache stormelasticsearchgobblinhadoopmysql or mariadb or postgreSQLembulkceph or s3hadoopembulkinfluxdb or tajo or elasticsearch or druidkibana or grafana or caravelceph or s3alluxioapache zeppelin or jupyter or ooziehive or map-reduce or apache drill or impala or spark

1. 개요로그 데이터를 중앙으로 전달하고 저장하는 툴 비교2. Apache Flumehttps://flume.apache.org/Flume은 수로라는 뜻으로 로그를 수로를 통해서 한곳에 모은 다는 뜻으로 풀이 될 수 있다.Flume은 과거 Cloudera에서 제작하여, 지금은 Apache 톱레벨 프로젝트가 되었다.Flume OG(v0.9.x 이하)의 경우 master 노드를 통해서, 제어되는 방식이었으나, NG(v1.x 이상)로 변경되면서, Agent에서 직접 제어 방식으로 변경되었다.JAVA로 만들어졌고, 이벤트 방식으로 제작되었다.(로그 한 줄이 하나의 이벤트)tail 명령어로 데이터를 읽어올 수 있고, Syslog, Scribe 등을 통해서 로그를 가져올 수 있다.Thrift를 이용해서 직접 어플리..