Apache Flume 분산 로그 데이터 수집
1. 개요로그 데이터를 중앙으로 전달하고 저장하는 툴 비교2. Apache Flumehttps://flume.apache.org/Flume은 수로라는 뜻으로 로그를 수로를 통해서 한곳에 모은 다는 뜻으로 풀이 될 수 있다.Flume은 과거 Cloudera에서 제작하여, 지금은 Apache 톱레벨 프로젝트가 되었다.Flume OG(v0.9.x 이하)의 경우 master 노드를 통해서, 제어되는 방식이었으나, NG(v1.x 이상)로 변경되면서, Agent에서 직접 제어 방식으로 변경되었다.JAVA로 만들어졌고, 이벤트 방식으로 제작되었다.(로그 한 줄이 하나의 이벤트)tail 명령어로 데이터를 읽어올 수 있고, Syslog, Scribe 등을 통해서 로그를 가져올 수 있다.Thrift를 이용해서 직접 어플리..
빅데이터
2016. 8. 5. 17:53
warpmemory
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
페이지
TAG
- monitoring
- engineering
- PowerShell
- File
- Module
- 명령어
- apache
- command
- code
- 번역
- 코드
- example
- configuration
- deview
- 이슈처리
- limits
- Python
- client
- Windows
- Ansible
- RESTful
- check
- mysql
- MariaDB
- Linux
- error
- httpd
- 외부링크
- Web
- 예제
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함