ELK
“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。
概述
filebeat
Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或 Logstash进行索引。 安装在产生日志的机器上
logstash
Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,redis日志,nginx日志等。对数据进行过虑,再写入Elasticsearch中。
- 接收日志
- 分析过滤日志
- 输出日志
其配置文件的框架也主要包含三部分:
input{},
filter{},
output{}
input 输入插件可以是file , stdin , filebeat , redis , ftp等。 filter 过滤插件可以是grok , date , mutate,kv等。
- grok 插件预设语法
output 输出插件可以是标准输出stdout , file ,Elasticsearch , redis , ftp 等。
配置文件解读:
elasticsearch
对数据创建索引
kibana
Kibana主要功能:全文本搜索,字段搜索,组合查询,按字段统计,图表展示,保存,以及实时动态展示数据。