针对Mac M1用户的7.x的ELK配置与启动

介绍

elasticsearch是搜索引擎相关的技术栈，在ELK这套体系中发挥日志分析系统的作用。

kibana是配套elasticsearch的前端可视化平台和插件。

logstash是数据传输与日志收集系统。顺带提一嘴，在elastic官方推出的beats轻量级采集系统中，用来代替logstash。logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。大家有兴趣可以研究下。

下载

官网下载
在elastic产品里，官网有引导如何下载，这里推荐homebrew下载方式。文中各种配置文件路径也是配合homebrew下载的路径。

配置与启动

这各自配置文件是重点地方，也是能否成功启动和使用的关键。

elasticsearch配置

关于elasticsearch配置文件，Mac用户下路径：/opt/homebrew/etc/elasticsearch/elasticsearch.yml

cluster.initial_master_nodes: ["node-1"]
cluster.name: es-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
path.data: /opt/homebrew/var/lib/elasticsearch/
path.logs: /opt/homebrew/var/log/elasticsearch/
http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false

关于elasticsearch配置文件中，xpack.security.enabled与 xpack.security.transport.ssl.enabled 默认为false，这里是开启elastic的X-pack插件来提供访问控制功能。后面会提到怎么用和配置。这里如果不考虑权限控制啥的，配置成false即可。

kibana配置

关于kibana配置文件，Mac用户下路径：/opt/homebrew/etc/kibana/kibana.yml，提一嘴，配置文件里面那些注释可以删除也可以留下，只是很多东西没涉及到暂时不提。

path.data: /opt/homebrew/var/lib/kibana/data
i18n.locale: "zh-CN"     #kibana默认文字是英文，变更成中文
server.port: 5601   #kibana端口
server.host: "127.0.0.1"    #绑定的主机IP地址
elasticsearch.hosts: ["http://127.0.0.1:9200"]      #elasticsearch的主机IP
kibana.index: ".kibana"     #开启此选项
xpack.monitoring.ui.container.elasticsearch.enabled: true

logstash配置

关于logstash配置文件，多一点。分别有pipelines.yml、logstash.yml、logstash-springboot.conf，logstash-springboot.conf这个文件名字可以自己取或者创建，但要对应。

/opt/homebrew/etc/logstash/pipelines.yml文件内容，这里的path.config要与conf文件名字对应

- pipeline.id: main
  path.config: "/opt/homebrew/etc/logstash/logstash-springboot.conf"

/opt/homebrew/etc/logstash/logstash.yml文件内容

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: ["https://127.0.0.1:9200"]

/opt/homebrew/etc/logstash/logstash-springboot.conf文件内容，这里的output里的index很关键这里记住你自己配置的的写法

input {
  tcp {
    port => 4560
    codec => json_lines
  }
}

filter {

}

output {
  elasticsearch {
    hosts => "127.0.0.1:9200"
    index => "logs-%{+YYYY.MM.dd}"
  }
}

ELK启动

在终端，分别用 elasticsearch,kibana,logstash命令启动。

浏览器打开http://127.0.0.1:5601/app/management/kibana/indexPatterns/ 或者在 http://127.0.0.1:5601 home界面中，打开“管理索引生命周期” --> 找到左侧菜单里的Kibana下的索引模式 --> 创建索引模式 --> 创建索引模式中名称下填写logs-*然后点击创建索引模式（这里填写的新的索引模式，就是logstash-springboot.conf中的index）

SpringBoot应用集成

在pom.xml中添加logstash-logback-encoder依赖

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

添加配置文件logback-spring.xml让logback的日志输出到logstash

注意appender节点下的destination需要改成自己的logstash服务地址，比如这里我配置的是：127.0.0.1:4560 。

<?xml version="1.0" encoding="UTF-8"?>

<configuration scan="true" scanPeriod="60 seconds" debug="false">

    <contextName>logback</contextName>
    <!--日志文件的存储地址,这里使用的是相对路径，所以不填写实际地址内容-->
    <property name="log.path" value="log" />

    <!--输出到控制台 名字随便写-->
    <appender name="stdout" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <withJansi>true</withJansi>
        <encoder>
            <!--<pattern>%d %p (%file:%line\)- %m%n</pattern>-->
            <!--格式化输出：%d:表示日期    %thread:表示线程名     %-5level:级别从左显示5个字符宽度  %msg:日志消息    %n:是换行符-->
            <pattern>--------------> %red(%d{yyyy-MM-dd HH:mm:ss}) %green([%thread]) %highlight(%-5level) %boldMagenta(%logger) - %cyan(%msg%n)</pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!--输出到文件-->
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/mission.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--按每分钟保存日志 修改格式可以按小时、按天、月来保存-->
            <fileNamePattern>${log.path}/mission-%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
            <totalSizeCap>1GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <!--格式化输出：%d:表示日期    %thread:表示线程名     %-5level:级别从左显示5个字符宽度  %msg:日志消息    %n:是换行符-->
            <pattern>--------------> %d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>127.0.0.1:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>

    <root level="info">
        <appender-ref ref="stdout" />
        <appender-ref ref="file" />
        <appender-ref ref="LOGSTASH"/>
    </root>

</configuration>

然后运行Springboot

在logstash中安装json_lines插件

# 进入logstash的bin目录，我这离里下载的7.15.1版本
cd /opt/homebrew/Cellar/logstash-full/7.15.1/bin
# 安装插件
logstash-plugin install logstash-codec-json_lines

在kibana中查看日志信息

http://127.0.0.1:5601 home界面中，打开左侧菜单里的Analytics中的Discover或者Observability中去查看日志。然后就可以看到内容了。
其中还有很多扩展和功能，这里就不详谈了。

ELasticSearch设置用户名和密码

ELasticSearch在7.7之后，安全认证功能免费开放了，X-pack插件也集成到了开源的ELasticSearch上。
关于安全认证和相关功能设置可以参考如何给ElasticSearch设置用户名和密码与 ELK - X-Pack设置用户密码