[7] Filebeat – Instalacja
29 marca 2022Zainstaluj Filebeat, który z łatwością przesyła dane z pliku dziennika do Elasticsearch lub Logstash.
[1] Zainstaluj Filebeat. Skonfiguruj repozytorium Elasticsearch przed instalacją.
[root@vlsr01 ~]# dnf install filebeat
[2] Skonfiguruj podstawowe ustawienia i uruchom Filebeat.
[root@vlsr01 ~]# mcedit /etc/filebeat/filebeat.yml # linia 21 : ustaw elementy do zbierania danych # jeśli zbierasz dzienniki, ustaw [enabled: true] # domyślnie dostarczane są pliki /var/log/*.log - type: log # Change to true to enable this prospector configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: - /var/log/*.log #- c:\programdata\elasticsearch\logs\* # Exclude lines. A list of regular expressions to match. It drops the lines that are # matching any regular expression from the list. #exclude_lines: ['^DBG'] # Include lines. A list of regular expressions to match. It exports the lines that are # matching any regular expression from the list. #include_lines: ['^ERR', '^WARN'] # Exclude files. A list of regular expressions to match. Filebeat drops the files that # are matching any regular expression from the list. By default, no files are dropped. #exclude_files: ['.gz$'] . . . . . # linia 101 : jeśli używasz Kibany, odkomentuj i określ hosta wyjściowego # jeśli SSL jest włączony w Kibana, nazwa hosta powinna być taka sama jak nazwa hosta w certs setup.kibana: . . . . . host: https://vlsrv01.zicher.lab:5601 # linia 132 : określ hosta wyjściowego # domyślną opcją jest Elasticsearch lokalnego hosta # jeśli wyjście jest do Logstash, zakomentuj Elasticsearch i odkomentuj wiersze logstash output.elasticsearch: # Array of hosts to connect to.l hosts: ["localhost:9200"] . . . . . #output.logstash: # The Logstash hosts #hosts: ["localhost:5044"] [root@vlsr01 ~]# mcedit /etc/filebeat/filebeat.reference.yml # linia 15 : ustaw elementy do zbierania danych - module: system # Syslog syslog: enabled: true . . . . . # Authorization logs auth: enabled: true # linia 4565: jeśli używasz Kibany, odkomentuj i określ hosta wyjściowego # jeśli SSL jest włączone w Kibana, odkomentuj wiersze związane z ssl # jeśli twoje certyfikaty są z własnym podpisem, ssl.verification_mode powinien mieć wartość [none] setup.kibana: # Kibana Host # Scheme and port can be left out and will be set to the default (http and 5601) # In case you specify and additional path, the scheme is required: http://localhost:5601/path # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601 host: "vlsr01.zicher.lab:5601" # Optional protocol and basic auth credentials. protocol: "https" #username: "elastic" #password: "changeme" # Optional HTTP Path #path: "" # Use SSL settings for HTTPS. Default is true. ssl.enabled: true . . . . . # after very careful consideration. It is primarily intended as a temporary # diagnostic mechanism when attempting to resolve TLS errors; its use in # production environments is strongly discouraged. # The default value is full. ssl.verification_mode: none [root@vlsr01 ~]# systemctl enable --now filebeat
[3] Sprawdź status, czy dane zostały zebrane normalnie.
# lista indeksów [root@vlsr01 ~]# curl localhost:9200/_cat/indices?v health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open .geoip_databases 3Blp2ITzT3OGMcKpXWQmvQ 1 0 44 0 41.5mb 41.5mb yellow open sshd_fail-2022.03 oEnHEEU5QAe_qnDkUUhxYg 1 1 11 0 64.3kb 64.3kb green open .apm-custom-link xQPmqjYQQNGk7jqY47y5lg 1 0 0 0 226b 226b yellow open metricbeat-7.17.1-2022.03.26-000001 7YefwbdcSdehjGkbWHoFog 1 1 91923 0 55.9mb 55.9mb green open .apm-agent-configuration 5G3uKQzFReOnbIAS1thWCg 1 0 0 0 226b 226b yellow open packetbeat-7.17.1-2022.03.27-000001 YmtowBRbQjSaYcjWVRqRHA 1 1 75882 0 22.2mb 22.2mb green open .async-search KVliO2njSce1JuGEXKxeuQ 1 0 0 0 255b 255b green open .kibana_task_manager_7.17.1_001 OSLFw2ALSgi4QKmU_ucjOA 1 0 17 57351 5.8mb 5.8mb green open .kibana_7.17.1_001 rnb6SpMkQQmPFx1PI4t77Q 1 0 2913 167 3.5mb 3.5mb yellow open filebeat-7.17.1-2022.03.27-000001 AHMGTS80TmqndW4G6_Qo8w 1 1 3041 0 525.3kb 525.3kb # lista dokumentów w indeksie [root@vlsr01 ~]# curl localhost:9200/filebeat-7.17.1-2022.03.27-000001/_search?pretty { "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 3041, "relation" : "eq" }, "max_score" : 1.0, "hits" : [ { "_index" : "filebeat-7.17.1-2022.03.27-000001", "_type" : "_doc", "_id" : "bVygyn8Bv-wbtR34xIfq", "_score" : 1.0, "_source" : { "@timestamp" : "2022-03-27T09:06:40.906Z", "host" : { "id" : "9af179e266064a09adf2bf75e67f0f3c", "containerized" : false, "ip" : [ "192.168.100.101", "fe80::20c:29ff:fe4c:770" ], "mac" : [ "00:0c:29:4c:07:70" ], "name" : "vlsr01.zicher.lab", "hostname" : "vlsr01.zicher.lab", "architecture" : "x86_64", "os" : { "platform" : "centos", "version" : "8", "family" : "redhat", "name" : "CentOS Stream", "kernel" : "4.18.0-373.el8.x86_64", "type" : "linux" } }, [root@vlsr01 ~]# systemctl enable --now filebeat
[4] Jeśli Kibana jest uruchomiona, możliwe jest importowanie danych do przykładowych Dashboardów.
[root@vlsr01 ~]# filebeat setup --dashboards Loading dashboards (Kibana must be running and reachable) Loaded dashboards
