如何在centos7上部署Elasticsearch+Logstash+Kibana？
|
在这篇文章中我们来了解一下“如何在centos7上部署Elasticsearch+Logstash+Kibana?”，一些朋友可能会遇到这方面的问题，对此在下文小编向大家来讲解，内容详细，易于理解，希望大家阅读完这篇能有收获哦，有需要的朋友就往下看吧! 原文发表于cu：2017-02-10 参考文档： Elasticsearchyum文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html Logstashyum文档：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html Kibanayum文档：https://www.elastic.co/guide/en/kibana/current/rpm.html es5.x版本head插件安装：http://renzhiyuan.blog.51cto.com/10433137/1888862 本文通过yum的方式安装ELK Stack各套件，并做简单配置。 一.环境准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. JDK版本 # 官方文档写得很明确：elasticsearch与logstash至少需要java 8支持，其中logstash5.x版本也不支持java 9，这里部署openjdk，使用“yum provides java”命令选取合适的版本进行安装。 [root@elk-node1 ~]# yum install java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64 -y [root@elk-node1 ~]# java -version openjdk version "1.8.0_121" OpenJDK Runtime Environment (build 1.8.0_121-b13) OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode) 3. ELK版本 Elasticsearch 5.2: https://www.elastic.co/downloads/elasticsearch Logstash 5.2:https://www.elastic.co/downloads/logstash Kibana 5.2:https://www.elastic.co/downloads/kibana 4. 拓扑图 1) 物理拓扑 验证环境部署2台设备，均为VMware ESXi虚拟出的vm，部署在相同网段; 每台vm上均部署elk的3个组件，只是配置文件根据节点不同而略有不同(以下部署配置过程只针对node1，node2安装配置可参照node1)。 2) 逻辑流程 数据源只需要输入到某1个logstash节点; 经过logstash处理的数据需要输出到elasticsearch集群中的所有节点,elasticsearch分布式集群通过自身处理，每个节点均能获取全部数据; kibana展示只需要从本机所在elasticsearch节点即可获取全部数据。 二.Elasticsearch部署 1. 导入elasticsearch PGP key [root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 2. 创建yum源文件 [root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo [elasticsearch-5.x] name=Elasticsearch repository for5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md 3. 安装elasticsearch [root@elk-node1 ~]# yum install elasticsearch -y 4. 设置开机启动 [root@elk-node1 ~]# systemctl daemon-reload [root@elk-node1 ~]# systemctl enable elasticsearch.service Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service. 5. 配置hosts文件 # 根据实际环境配置，将节点主机名加入hosts文件 [root@elk-node1 ~]# echo "10.11.4.151 elk-node1" >> /etc/hosts [root@elk-node1 ~]# echo "10.11.4.152 elk-node2" >> /etc/hosts 6. 配置elasticsearch.yml [root@elk-node1 src]# cat /etc/elasticsearch/elasticsearch.yml | grep -v “#” cluster.name: elk #自定义集群名，相同集群内的节点设置相同的集群名 node.name: elk-node1 #自定义节点名，建议统一采用节点hostname path.data: /var/lib/elasticsearch #data存储路径，可不取消注释，默认即此路径 path.logs: /var/log/elasticsearch #log存储路径，可不取消注释，默认即此路径 network.host: 0.0.0.0 #es监听地址，采用”0.0.0.0”，允许所有设备访问 http.port: 9200 #es监听端口，可不取消注释，默认即此端口 discovery.zen.ping.unicast.hosts: ["elk-node1", "elk-node2"] # 集群节点发现列表，也可采用ip的形式 discovery.zen.minimum_master_nodes: 2 #集群可做master的最小节点数，生产环境建议节点数至少3个且为基数 # 以下两项设置es5.x版本的head插件可以访问es http.cors.enabled: true #开启跨域访问支持，默认为false http.cors.allow-origin: "*" #跨域访问允许的域名地址，使用正则表达式 7. 配置head插件 elasticsearch5.x版本没有提供直接安装head插件的方法，作者在github上给出了方法：https://github.com/mobz/elasticsearch-head 1)下载并配置nodejs # nodejs官网：https://nodejs.org/en/ # 如果国内通过wget下载较慢，可通过第三方工具下载后上传至服务器 [root@elk-node1 ~]# cd /usr/local/src/ [root@elk-node1 src]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar.xz [root@elk-node1 src]# xz -d node-v6.9.5-linux-x64.tar.xz [root@elk-node1 src]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/ [root@elk-node1 src]# cd ~ [root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/node /usr/bin/node [root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/npm /usr/bin/npm # 查看nodejs是否安装成功; # NPM的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，方便让JavaScript开发者下载、安装、上传以及管理已经安装的包 [root@elk-node1 ~]# node -v v6.9.5 [root@elk-node1 ~]# npm -v 3.10.10 2)安装head插件 安装grunt # grunt是一个方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.x里的head插件就是通过grunt启动的; #如果镜像速度不理想，可提前切到国内的镜像，在安装grunt-cli前执行：npm config set registry https://registry.npm.taobao.org # ”-g”参数代表全局安装，一般安装到nodejs的”lib/node_modules”目录下;不带参数”-g”，则是本地安装，一般安装到运行npm命令时所在的目录，这里就需要安装到head插件目录 [root@elk-node1 ~]# npm install -g grunt-cli # 为grunt命令建软链接，方便全局执行，或加入环境变量; [root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt 下载并配置head # 配置elasticsearch.yml文件允许head插件跨域访问es，请见上述章节 [root@elk-node1 ~]# cd /var/lib/elasticsearch [root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git [root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/ 安装head [root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/ # 如果没有全局安装grunt二进制程序，可在"elasticsearch-head"目录下执行"npm install grunt --save"或" npm install grunt-cli" [root@elk-node1 elasticsearch]# npm install 安装完成后可能有一些报错，不影响使用，报错原因未知，本人对nodejs不了解，github上有相近的问题，但并未解决。解决方法如下： 查看报错信息"Error: Cannot find module '/var/lib/elasticsearch/elasticsearch-head/node_modules/phantomjs-prebuilt/install.js'"，未找到" phantomjs-prebuilt/install.js"文件; 采取比较土的办法，将完整的"phantomjs-prebuilt/"目录上传到相应位置，重新执行"npm install"，无报错。 或者：npm install phantomjs-prebuilt@2.1.14 --ignore-scripts 同时有3个警告信息，忽略即可，其中"npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression"警告信息可做如下处理：http://www.itdadao.com/articles/c15a1031952p0.html 即修改"./ elasticsearch-head"目录下"package.json"文件第17行的""Apache2" "为"Apache-2.0"，涉及到开源软件与其他合作类软件的使用声明。 配置head文件 app.js [root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/ [root@elk-node1 elasticsearch-head]# cd _site/ [root@elk-node1 _site]# cp app.js app.js.bak # 在4328行将原"http://localhost:9200"修改为"http://10.11.4.151:9200"，否则head插件不能获取节点状态信息 [root@elk-node1 _site]# vim app.js Gruntfile.js [root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/ [root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak # 在93行新增”hostname: 0.0.0.0', “，确保能被访问 [root@elk-node1 elasticsearch-head]# vim Gruntfile.js 8. iptables设置 # 打开tcp 9000～9600多个端口，9100访问head插件，9200是节点事务通信端口，9300是集群节点之间选举/状态同步端口，9600～9700是默认的logstash数据输入端口; # 允许多播协议，es是一个基于p2p的系统，其先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互; # tcp5601端口是kibana的默认访问端口。 [root@elk-node1 ~]# vim /etc/sysconfig/iptables -A INPUT -p tcp -m state --state NEW -m tcp -m multiport --dports 9000:9600 -j ACCEPT -A INPUT -m pkttype --pkt-type multicast -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 5601 -j ACCEPT [root@elk-node1 ~]# systemctl restart iptables 9. 启动并验证 [root@elk-node1 ~]# systemctl start elasticsearch.service #启动head插件，需要到head目录下 [root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/ [root@elk-node1 elasticsearch-head]# grunt server & 1)启动过程验证 [root@elk-node1 ~]# journalctl --unit elasticsearch 2)端口验证 [root@elk-node1 ~]# netstat –tunlp 3)集群/节点状态信息 节点状态信息 [root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/?pretty' 节点数信息 # 其中带"*"的节点表示被选举为master [root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/nodes?v' 节点分片信息 # 这里已经有分片信息，因kibana已安装并启动，默认无信息 [root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/indices?v' 集群健康状态信息 [root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cluster/health?pretty' 4)日志 # 日志文件默认在" /var/log/elasticsearch/elasticsearch.log"，可在elasticsearch.yml文件中更改; # 这里查看elk-node2节点的日志，elk-node2被选举成为master，且集群状态正常 [root@elk-node2 ~]# tail -f /var/log/elasticsearch/elk.log 5)浏览器访问 节点状态信息(类curl) 可视化展示(head插件) 同样有节点信息，master选举结果信息，节点分片信息，集群健康状态信息等。 三.Logstash部署 yum源同elasticsearch，这里不再创建yum文件，直接安装即可;如果一定要创建则另取1个名字，如logstash.repo。 1. 安装logstash [root@elk-node1 ~]# yum install logstash –y 2. 设置开机启动 [root@elk-node1 elasticsearch]# systemctl enable logstash.service Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service. 3. 配置logstash 1)配置文件 # 默认配置文件：/etc/logstash/logstash.yml # 其中默认配置已经明确数据，日志，logstash pipeline实例文件的存储位置，保持默认即可; # “http.host”参数指定数据输入主机，默认为localhost;“http.port”参数指定数据输入端口，默认为9600～9700(每实例占用1个)，此验证暂时不做变更 [root@elk-node1 ~]# cd /etc/logstash/ [root@elk-node1 logstash]# cat logstash.yml | grep -v "#" path.data: /var/lib/logstash path.config: /etc/logstash/conf.d path.logs: /var/log/logstash 2)pipeline文件 # 根据默认配置，pipeline实例文件默认应放置于/etc/logstash/conf.d目录，此时目录下无实例文件，可根据实际情况新建实例，以处理本机messages信息为例，如下： [root@elk-node1 ~]# cd /etc/logstash/conf.d/ [root@elk-node1 conf.d]# vim messages.conf # pipeline实例文件以”input”，”output”，”filter”等区域组成，前两者为必选项; # ”input”与”output”利用插件进行数据输入与输出，如这里”file”即输入插件，“elasticseach”与“stdout”即输出插件; # 在各插件内再具体定义行为，如”input”定义了数据源，“elasticseach”定义了输出节点与数据输出的索引与格式; # “codec => rubydebug”会产生大量的debug文件至message(也可重定向到其他位置)，此处注释掉; input { file { path => "/var/log/messages" } } output { elasticsearch { hosts => ["10.11.4.151:9200","10.11.4.152:9200"] index => "messages-%{+YYYY.MM.dd}" } stdout { # codec => rubydebug } } # 请注意权限，这里message常规权限是400，logstash无法读取，如果无法调用，在logstash的启动日志中会有相应的记录 [root@elk-node1 conf.d]# cd .. [root@elk-node1 logstash]# chown -R logstash:logstash conf.d/ [root@elk-node1 ~]# chmod 644 /var/log/messages 4. 启动并验证 1)启动测试 # logstash可以启动，但此种验证方式会有告警 [root@elk-node1 ~]# cd /usr/share/logstash/ [root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }' # 按提示方式处理，在"$LS_HOME"下建立"config"目录，并将"/etc/logstash/"下的文件建软链接到"config"目录，再次执行即可，如下： [root@elk-node1 ~]# mkdir -p /usr/share/logstash/config/ [root@elk-node1 ~]# ln -s /etc/logstash/* /usr/share/logstash/config [root@elk-node1 ~]# chown -R logstash:logstash /usr/share/logstash/config/ 2)pipeline实例启动测试 [root@elk-node1 ~]# cd /usr/share/logstash/ [root@elk-node1 logstash]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/messages.conf -t 3)启动并验证 [root@elk-node1 ~]# systemctl start logstash netstat [root@elk-node1 ~]# netstat -tunlp 日志 [root@elk-node1 ~]# tailf /var/log/logstash/logstash-plain.log head 浏览器访问：http://10.11.4.151:9100 四.Kibana部署 yum源同elasticsearch，这里不再创建yum文件，直接安装即可;如果一定要创建则另取1个名字，如kibana.repo。 1. 安装kibana [root@elk-node1 ~]# yum install kibana -y 2. 设置开机启动 [root@elk-node1 ~]# systemctl daemon-reload [root@elk-node1 ~]# systemctl enable kibana.service Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service. 3. 配置kibana # 默认配置文件：/etc/kibana/kibana.yml [root@elk-node1 ~]# cd /etc/kibana/ [root@elk-node1 kibana]# vim /etc/kibana/kibana.yml [root@elk-node1 kibana]# cat /etc/kibana/kibana.yml | grep -v "^$" | grep -v "#" server.port: 5601 #默认即5601 server.host: "0.0.0.0" #允许被访问 elasticsearch.url: "http://10.11.4.151:9200" #es地址与端口 4. 启动并验证 [root@elk-node1 ~]# systemctl restart kibana [root@elk-node1 ~]# netstat -tunlp | grep 5601 五.Kibana展示 1)浏览器访问：http://10.11.4.151:5601或者http://10.11.4.152:5601 2)需要在"Index name or pattern"处创建索引名，elassticsearch中并没有以"logstash-*"命名的索引，则不能创建，新建索引对应logstash的pipeline输出插件定义的"index"，即"messages-*"，如下： 3)在"Index name or pattern"处填写入正确的索引名字，"@timestamp"会自动填充，点击"create"创建，见到如下界面即索引创建完成; 4)在"Discover"页面，可以搜索与浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据，可以自定义选择时间。 到此，关于“如何在centos7上部署Elasticsearch+Logstash+Kibana?”的学习就结束了，希望能够解决大家的疑惑，另外大家动手实践也很重要，对大家加深理解和学习很有帮助。 （编辑：财气旺网 - 财气网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
