끄적 끄적 로깅! 로깅!

Disable shard allocation PUT /_cluster/settings { "persistent": { "cluster.routing.allocation.enable": "none" } } Perform a synced flush POST /_flush/synced Restart /etc/init.d/elasticsearch restart Reenable allocation PUT /_cluster/settings { "persistent": { "cluster.routing.allocation.enable": "all" } } Full cluster restart upgrade | Elasticsearch Reference [7.6] | Elastic If you are upgrading..

카프카 설치 시, 필수 설정 4가지 log.retention.hours=72 delete.topic.enable=true allow.auto.create.topics=false log.dirs=/data 카프카 설치 시 가장 중요한 설정 4가지 | Popit 카프카 보안과 커버로스(Kerberos)를 이용해 구성하는 방법에 대해 다루는 글을 쓰려다가, 현재 제가 구성한 보안 클러스터 구성환경에 접속할 수도 없고 새로 구성하기도 어려운 상황이라, 평소 주위 분들에게 많은 질문을 받은 “빠르게 카프카 사용하기”라는 주제로 먼저 글을 써봐야겠다는 생각이 들었습니다. 이 내용은 생각보다는 매우 단순하고 쉽습니다. 이 글이 필요한 분들은 다음과 같습니다. 카프카를 빨리 구성해야 한다. 카프카를 빨리 업무에 사용해..

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677%pyspark import refrom pyspark.sql import Rowfrom pyspark.sql.types import * APACHE_ACCESS_LOG_PATTERN = '(\S+) (\S+) (\S+) \[([^\]]*)\] \"([^\"]*)\"(?: (\S+) (\S+) ([^ \"]*|\"[^\"]*\") (\".*\")?)? (\S+) (\S+)' def parse_apache_log_line(logline): match ..

Architectureflume or fluentd or logstash kafkaapache stormelasticsearchgobblinhadoopmysql or mariadb or postgreSQLembulkceph or s3hadoopembulkinfluxdb or tajo or elasticsearch or druidkibana or grafana or caravelceph or s3alluxioapache zeppelin or jupyter or ooziehive or map-reduce or apache drill or impala or spark

http://edgeofsanity.net/article/2012/12/26/elasticsearch-for-logging.html

http://blog.recopick.com/28 topology.max.spout.pending topology.acker.executorsKafka 조합으로 사용시 Spout 의 parallelism_hint 값을 늘릴경우, Kafka의 partition 도 동일한 값으로 늘려야한다. storm.zookeeper.connection.timeout

1. 개요로그 데이터를 중앙으로 전달하고 저장하는 툴 비교2. Apache Flumehttps://flume.apache.org/Flume은 수로라는 뜻으로 로그를 수로를 통해서 한곳에 모은 다는 뜻으로 풀이 될 수 있다.Flume은 과거 Cloudera에서 제작하여, 지금은 Apache 톱레벨 프로젝트가 되었다.Flume OG(v0.9.x 이하)의 경우 master 노드를 통해서, 제어되는 방식이었으나, NG(v1.x 이상)로 변경되면서, Agent에서 직접 제어 방식으로 변경되었다.JAVA로 만들어졌고, 이벤트 방식으로 제작되었다.(로그 한 줄이 하나의 이벤트)tail 명령어로 데이터를 읽어올 수 있고, Syslog, Scribe 등을 통해서 로그를 가져올 수 있다.Thrift를 이용해서 직접 어플리..

CDH5.8 버전 업데이트 하고, Zeppline 재컴파일 후 mvn clean package -Pspark-1.6 -Dhadoop.version=2.6.0-cdh5.8.0 -Phadoop-2.6 -Pvendor-repo -DskipTests Zeppline 에서 pyspark 실행시 아래 발생 Py4JJavaError: An error occurred while calling o0.textFile.: com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope) at [Source: {"id":"2"..

1. Ceph분산 오브젝트 파일 시스템으로 좋은 성능, 신뢰성, 확장성을 가지고 있다.2. Block Device2.1. 커널 모듈 사용커널에 Ceph 모듈이 포함되어야 있어야 한다.(CentOs 7 기본 탑재)2.1.1. pool 생성# rados mkpool dsan_block_devicesuccessfully created pool dsan_block_device2.1.2. 이미지 생성# rdb create test-images --size 10240 --pool dsan_block_device2.1.3. Device 맵핑 생성# rbd map test-images --pool dsan_block_device/dev/rbd0# rbd ls -p dsan_block_devicetest-images# ..