欢迎您, 来到 宁时修博客.^_^

Elastic Stack[7.0]开源日志收集 02 ----Logstash、Kibana、Filebeat部署

2018/10/11 言则行 Elastic Stack 820
Elastic Stack开源日志收集

一、Logstash部署

    1. 安装JDK

$ yum install java-1.8.0-openjdk -y


    2. 安装logstash

    官方文档:https://www.elastic.co/guide/en/logstash/7.0/installing-logstash.html

    下载并安装公共签名密钥:

$ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

    

    编写RPM仓库文件:

    在 /etc/yum.repos.d/ 下创建 logstash.repo文件:

$ cat > /etc/yum.repos.d/logstash.repo <<EOF
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF


    yum下载安装logstash:

$ yum install -y logstash


    启动logstash:

$ systemctl start logstash



二、Kibana部署

    1.安装kibana

    官方文档:https://www.elastic.co/guide/en/kibana/7.0/rpm.html

    下载并安装公共签名密钥:

$ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

    

    编写RPM仓库文件:

    在 /etc/yum.repos.d/ 下创建 kibana.repo文件:

$ cat > /etc/yum.repos.d/kibana.repo <<EOF
[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF


    yum下载安装kibana:

$ yum install -y kibana



    2. 配置和运行kibana

    配置kibana:

$ vim /etc/kibana/kibana.yml

server.port: 5601           # kibana访问端口
server.host: "0.0.0.0"        # 绑定IP,谁可以连接kibana
server.name: "elk-node1"       # 主机名
elasticsearch.url: "192.168.2.41"   # elasticsearch URL 
kibana.index: ".kibana"        #  没有elasticsearch索引时,kibana自动创建一个


    运行kibana:

$ systemctl start kibana


    访问kibana web界面: kibana主机IP:5601

    40855.png



    3. kibana WEB界面汉化

    kibana 7.x 自带汉化功能:

    官方自带汉化资源文件(位于您的kibana目录下的node_modules/x-pack/plugins/translations/translations/目录)。使用yum安装kibana,路径是/usr/share/kibana/node_modules/x-pack/plugins/translations/translations,里面有个  zh-CN.json文件

    修改您的kibana配置文件kibana.yml中的配置项:i18n.locale: "zh-CN",重启Kibana则汉化完成。


    Kibana 7.0 以下虽然开始汉化,但是汉化不完整,第三方汉化项目:https://github.com/anbai-inc/Kibana_Hanization




三、部署Beats 之 Filebeat

    1. 安装Filebeat

    官方文档:https://www.elastic.co/guide/en/beats/filebeat/7.0/filebeat-installation.html

    

    在每台需要收集日志的服务器上安装Filebeat,最好是elasticsearch、logstash、kibana、filebeat版本一致:

$ curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.1-x86_64.rpm
$ sudo rpm -vi filebeat-7.0.1-x86_64.rpm


    2. 配置Filebeat

$ vim /etc/filebeat/filebeat.yml


#============= Filebeat prospectors ===============
filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/secure             # 日志路径
    - /var/log/messages            # 日志路径
#==================== Outputs =====================
#------------- Elasticsearch output ---------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]        #关闭输出到elasticsearch
#---------------- Logstash output -----------------
output.logstash:
  # The Logstash hosts
  hosts: ["192.168.2.41:5044"] #选择输出到 logstash,指定logstash IP和端口

    

    重启filebeat:

systemctl restart filebeat



    3. 配置logstash

vim /etc/logstash/conf.d/system.conf 

input {
  beats {
    port => "5044"
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.2.41:9200"]
    index => "logstash-system-log-%{+YYYY.MM.dd}"  # 新版需要以logstash开头
  }
}

    


    重启logstash:

systemctl restart logstash

    

    4. 配置kibana

    去kibana web界面配置:

1345.png


    在索引模式输入框内 填写 索引名称,如“logstash-system-log-*”,kibana会自动匹配,然后选择 点下一步,如上图所示。


    点击“Discover”,即可查看日志,如下图:

8.png



四、关于Elastic Stack的一些查询语句

    ①查询filebeat

    curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

    

    ②查询packetbeat

    curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'

    

    ③查询metricbeat

    curl -XGET 'http://localhost:9200/metricbeat-*/_search?pretty'

    

    ④查询集群健康度

    curl 'localhost:9200/_cat/health?v'

    

    ⑤查看节点列表

    curl 'localhost:9200/_cat/nodes?v'

    

    ⑥列出所有索引

    curl 'localhost:9200/_cat/indices?v'


五、多看官方文档

    官方:https://www.elastic.co/guide/index.html

点赞
说说你的看法

所有评论: (0)