ELK Stack
Elastic Stack vereint Elasticsearch, Kibana, Logstash und Beats zur Open-Source-Plattform für Log-Management, Suche, Observability und SIEM.
Was ist ELK Stack?
Der Elastic Stack (ELK Stack) ist die meistgenutzte Open-Source-Plattform für Log-Management, Volltextsuche und Observability. Er besteht aus vier Kernkomponenten: Elasticsearch als verteilte Such- und Analyse-Engine, Kibana für interaktive Dashboards und Visualisierungen, Logstash als ETL-Pipeline für Datentransformation sowie Beats als leichtgewichtige Daten-Shipper (Filebeat, Metricbeat u.v.m.). Urspruenglich unter Apache 2.0-Lizenz veroeffentlicht, gilt seit 2021 die Elastic License 2.0 für neue Releases - der Quellcode bleibt öffentlich, kommerzielle SaaS-Angebote Dritter (z.B. AWS-Forks wie OpenSearch) sind jedoch eingeschraenkt. Der Stack deckt heute weit mehr als klassisches Log-Management ab: SIEM und Security Analytics, Observability mit APM, Metriken und Synthetics, Enterprise Search sowie moderne AI Search mit ELSER Sparse Vectors, Vector Search und Embeddings. Mit der neuen ES|QL-Abfragesprache und nativer Integration von ML-Modellen positioniert sich Elastic als Plattform für AI-gestuetzte Suche und Analyse. Elastic NV hat seinen Hauptsitz in den Niederlanden und den USA; Elastic Cloud bietet EU-Hosting in Frankfurt. Self-Managed-Deployments laufen on-premises oder in privaten Clouds mit voller Kontrolle über Datenhaltung.
Quick Info
Tags
Für wen ist ELK Stack geeignet?
ELK Stack ist geeignet für:
Wichtigste Funktionen von ELK Stack
Die wichtigsten Funktionen von ELK Stack sind:
Elasticsearch Volltextsuche & Aggregationen
Elasticsearch Volltextsuche & Aggregationen: Verteilte Such-Engine mit BM25-Ranking, komplexen Bool-Queries, Facetten-Aggregationen und nahezu Echtzeit-Indexierung großer Datenmenge.
Kibana Dashboards & Discover
Kibana Dashboards & Discover: Interaktive Visualisierungen, Lens-Editor, Canvas und vorgefertigte Dashboards für Logs, Metriken und APM-Daten in Echtzeit.
Logstash ETL-Pipeline
Logstash ETL-Pipeline: Serverbasierte Datenpipeline mit über 200 Input-, Filter- und Output-Plugins für Transformation, Anreicherung und Routing von Ereignisdaten aus beliebigen Quellen.
Beats Lightweight Shipper
Beats Lightweight Shipper: Filebeat, Metricbeat, Packetbeat, Heartbeat und weitere agentbasierte Daten-Shipper für effiziente Uebertragung von Logs, Metriken und Netzwerkdaten.
ES|QL Abfragesprache
ES|QL Abfragesprache: Neue Pipeline-orientierte Abfragesprache für Elasticsearch mit lesbarer Syntax, statistischen Funktionen und nahtloser Integration in Kibana Discover.
ELSER Semantic Search & Vector Search
ELSER Semantic Search & Vector Search: Sparse-Vector-Modell (ELSER) und Dense-Vector-Suche für semantisch relevante Suchergebnisse und AI-gestuetzte Retrieval-Anwendungen ohne externe API.
SIEM & Security Analytics
SIEM & Security Analytics: Integrierte SIEM-Funktionen mit Detection-Engine, Threat Intelligence Feeds, Timeline-Untersuchungen und MITRE ATT&CK-Mapping für Security-Teams.
Observability: APM, Logs, Metriken & Synthetics
Observability: APM, Logs, Metriken & Synthetics: Vollstaendige Observability-Plattform mit Application Performance Monitoring, zentralem Log-Management, Infrastruktur-Metriken und synthetischem Monitoring.
Machine Learning & Anomalieerkennung
Machine Learning & Anomalieerkennung: Integrierte ML-Jobs für automatische Anomalieerkennung, Zeitreihenprognosen und Log-Kategorisierung ohne externe ML-Plattform.
Skalierbare Cluster-Architektur
Skalierbare Cluster-Architektur: Horizontale Skalierung über beliebig viele Knoten, automatisches Shard-Rebalancing, Cross-Cluster Replication und Rack-Awareness für hohe Verfuegbarkeit.
Was sind Vorteile und Nachteile von ELK Stack?
Hier sind die wichtigsten Vor- und Nachteile von ELK Stack im Überblick:
Vorteile
Nachteile
ELK Stack-Preise und Kosten
Die aktuellen Preispläne und Kosten von ELK Stack sind:
Free & Open Source (Self-Managed)
Elasticsearch, Kibana, Logstash und Beats als Open-Source unter Elastic License 2.0 selbst hosten. Alle Kernfunktionen inklusive - keine Lizenzkosten, nur eigene Infrastruktur.
Elastic Cloud Standard
Vollstaendig gemanagte Elastic Cloud auf AWS, Azure oder GCP ab ca. 99 USD/Monat (120 GB Storage, 2 Zonen). Inklusive ES|QL, AutoOps, Alerting, APM und Malware Prevention.
Elastic Cloud Gold
Alle Standard-Funktionen plus Reporting, Third-Party-Alerting, Watcher, Multi-Stack-Monitoring und Enterprise Search.
Elastic Cloud Platinum
Alle Gold-Funktionen plus erweiterte Security, Machine Learning (Anomalieerkennung), Cross-Cluster Replication sowie Semantic Search mit ELSER und E5-Modellen.
Elastic Cloud Enterprise
Alle Platinum-Funktionen plus Searchable Snapshots, Elastic Maps Server, GPU-Inferenz, AI Assistant, Workflows und Agent Builder. Enterprise Self-Managed auf Anfrage.
ELK Stack Videos
Folgende Videos helfen dir beim schnellen Einstieg in ELK Stack:
What is the ELK Stack | ELK | Elasticsearch | Logstash | Kibana
Welcome to CodeOps Trek! 🌐 Unlock the power of the ELK Stack in our latest video! 🚀 Explore how Elasticsearch, Logstash, and Kibana work together to revolutionize log management and analysis. Learn how this open-source trio provides a robust solution for collecting, storing, searching, and visualizing log data from your applications. In this video, we cover: What is the ELK Stack? Detailed Overview of Elasticsearch, Logstash, and Kibana How to Use the ELK Stack for Log Management and Analysis Practical Example: Troubleshooting an E-Commerce Application #elk #ELKStack #elasticsearchtutorial #elasticsearch #logstash #kibana #LogManagement #DataAnalysis #TechExplained #CodeOpsTrek #SoftwareDevelopment #ProgrammingTips #TechTutorial #LogAnalysis #realtimeanalytics
Setup Elasticsearch Cluster + Kibana 8.x
This video shows how to set up an #elasticsearch cluster with 5 nodes with #kibana. This video shows you how to create SSL with Let's Encrypt https://www.youtube.com/watch?v=Kk9kuf6D8so Configuration files used can be found here: https://github.com/evermight/elasticsearch-cluster NOTE 0: Video on how to start an elasticsearch cluster with docker can be found here: https://www.youtube.com/watch?v=5Bi8TMAJzfY NOTE 1: It would be a good idea to also do the following your in installation for production usage: - use a firewall to protect unnecessary ports - change default port numbers for elastic and kibana (explained in video) NOTE 2: If you want to use elasticsearch self signed certificates for the xpath.security.http.ssl, and you want kibana to connect to the cluster, you have two options: option 1: add this line to your kibana.yml file elasticsearch.ssl.certificateAuthorities: [ "/etc/kibana/certs/http_ca.crt" ] Where the http_ca.crt is a copy of /etc/elasticsearch/certs/http_ca.crt.from node 1 option2: add these two lines to your kibana.yml file elasticsearch.ssl.keystore.path: [ "/etc/kibana/certs/http.p12" ] elasticsearch.ssl.truststore.path: [ "/etc/kibana/certs/http.p12" ] Where the http.p12 is a copy of /etc/elasticsearch/certs/http.p12 from node 1 NOTE 3: As of elasticsearch v8.6.2, sometimes node1 might not start up on its own. If you want node1 to start up on its own, then comment out the `cluster.initial_master_nodes`, then add the line `discovery.type: single-node`. Once yyou start up node 1, you should be able to use CLI tools like `/elasticsearch-reset-password` and `./elasticsearch-create-enrollment-token`. Once you are ready to add node2 and onwards to the cluster, you can revert the `discovery.type: single-node` and `cluster.initial_master_node` on node1 and restart node1. This is a pretty ugly solution, but feel free so share with us a better way should you discover it! Table of Contents: 00:00 - Introduction 03:37 - Install Elasticsearch 07:15 - Configure and run node 1 (master node) 16:20 - Add node 2, 3, 4 and 5 29:55 - Publicly signed SSL for node 1 37:14 - Split-brain effect 42:55 - Install Kibana 54:45 - Summary Written Summary Here: https://elasticsearch.evermight.com/setup-elasticsearch-cluster
Welche ELK Stack-Integrationen gibt es?
Diese Integrationen stehen für ELK Stack zur Verfügung:
Kubernetes
Container-Orchestrierung
Native Integration via Elastic Agent und Metricbeat für Cluster-Metriken, Pod-Logs und Kubernetes-Events.
Docker
Container
Filebeat und Elastic Agent sammeln Container-Logs und Metriken direkt aus Docker-Daemon und Docker-Compose-Setups.
Apache Kafka
Message Broker
Logstash Kafka-Input und -Output für hochvolumige Event-Streaming-Pipelines als Puffer zwischen Datenquellen und Elasticsearch.
AWS
Cloud
Über 40 AWS-Integrationen inkl. CloudWatch, S3, Lambda, CloudTrail und GuardDuty für vollstaendige AWS-Observability.
Microsoft Azure
Cloud
Azure-Integrationen für Activity Logs, Monitor, Blob Storage und Microsoft 365 Security-Events.
Google Cloud Platform
Cloud
GCP-Integration für Cloud Logging, Cloud Monitoring, Pub/Sub und Google Workspace-Aktivitaetsdaten.
Nginx
Web Server
Filebeat Nginx-Modul für automatisches Parsing von Access- und Error-Logs mit vorgefertigten Kibana-Dashboards.
PostgreSQL
Datenbank
Metricbeat PostgreSQL-Modul und Filebeat-Log-Integration für Datenbank-Performance-Monitoring und Query-Analyse.
ELK Stack Erfahrungen (0)
So bewerten Nutzerinnen und Nutzer ELK Stack:
Noch keine Bewertungen
Sei der Erste, der dieses Tool bewertet!
Häufig gestellte Fragen zu ELK Stack
Die wichtigsten Fragen und Antworten zu ELK Stack auf einen Blick: