Fluentd Logo

Fluentd

Fluentd ist ein CNCF-graduierter Open-Source-Log-Collector, der Logs aus beliebigen Quellen sammelt, transformiert und an Backends wie Elasticsearch, S3 oder BigQuery weiterleitet.

0.0
(0 Bewertungen)Kostenlos
Autor: Max Benz
Zuletzt aktualisiert: 25.5.2026

Was ist Fluentd?

Fluentd ist ein Open-Source-Log-Collector, der 2011 von Treasure Data gegruendet wurde und 2019 als CNCF Graduated Project ausgezeichnet wurde. Das Tool sammelt, transformiert und leitet Log-Daten aus unterschiedlichsten Quellen wie Anwendungen, Servern und Containern an Backends wie Elasticsearch, Amazon S3, Google BigQuery oder Hadoop weiter. Die gesamte Verarbeitung erfolgt im einheitlichen JSON-Format, was die Weiterverarbeitung und Integration mit anderen Systemen vereinfacht. Mit über 5.000 Plugins unterstützt Fluentd nahezu jede erdenkliche Datenquelle und Ausgabe. Die Architektur setzt auf In-Memory- und File-Buffering für Zuverlaessigkeit sowie eingebaute Retry-Mechanismen bei Verbindungsfehlern. Fluentd ist zum Kubernetes-Logging-Standard geworden und wird von der CNCF unter der Apache-2.0-Lizenz betreut. Seit der Akquisition von Calyptia durch Chronosphere im Jahr 2024 liegt die kommerzielle Weiterentwicklung bei Chronosphere. Für Unternehmen mit erhoehten Anforderungen bieten mehrere Dienstleister Enterprise-Support an, darunter Chronosphere selbst sowie ClearCode, ITOCHU Techno-Solutions und weitere Spezialanbieter. Fluentd eignet sich besonders für DevOps-Teams, Site Reliability Engineers und Cloud-Native-Umgebungen, die eine bewaehrte, hochflexible Log-Pipeline benoetigen.

Quick Info

Kategorien:
-
Preismodell:Kostenlos
Bewertung:
0.0
0.0
Kostenlos testen:Ja
Mobile App:Nein
API:Ja

Tags

LoggingLog-ManagementOpen SourceCNCFKubernetesCloud NativeDatenintegrationDevOpsObservability

Für wen ist Fluentd geeignet?

Fluentd ist geeignet für:

DevOps-Teams
Site Reliability Engineers
Kubernetes-Nutzer
Enterprise IT-Teams
Cloud-Native-Entwickler

Wichtigste Funktionen von Fluentd

Die wichtigsten Funktionen von Fluentd sind:

{"title":"Pluggable Architektur mit 5.000+ Plugins","description":"Das Plugin-System erlaubt die Anbindung an praktisch jede Datenquelle und jedes Backend. Input-, Output-, Filter- und Buffer-Plugins sind frei kombinierbar."}

{"title":"Einheitliches JSON-Log-Format","description":"Alle Log-Daten werden intern als strukturiertes JSON verarbeitet, was die Weiterverarbeitung, Suche und Integration mit Analyse-Tools erheblich vereinfacht."}

{"title":"In-Memory- und File-Buffering","description":"Eingebautes Buffering mit Memory- und Disk-Optionen sorgt dafuer, dass keine Log-Daten verloren gehen, auch wenn ein Backend zeitweise nicht erreichbar ist."}

{"title":"Log-Weiterleitung zu Elasticsearch, S3, BigQuery und mehr","description":"Nativ unterstützte Ausgaben umfassen Elasticsearch, Amazon S3, Google BigQuery, Hadoop HDFS, Kafka, Splunk, Datadog und viele weitere Systeme."}

{"title":"Kubernetes Logging Standard","description":"Fluentd ist der de-facto-Standard für Kubernetes-Log-Aggregation und wird von vielen Kubernetes-Distributionen und Cloud-Providern als Standard-Log-Agent eingesetzt."}

{"title":"CNCF Graduated Project","description":"Als CNCF Graduated Project (seit 2019) erfuellt Fluentd höchste Anforderungen an Reife, Sicherheit und Governance innerhalb des Cloud-Native-Oekosystems."}

{"title":"Multi-Source-Aggregation","description":"Fluentd kann gleichzeitig Logs aus Anwendungen, Systemdiensten, Containern, Netzwerkgeraeten und IoT-Geraeten sammeln und in einer zentralen Pipeline zusammenfuehren."}

{"title":"Eingebaute Retry- und Fehlerbehandlung","description":"Automatische Wiederholungsversuche bei Backend-Ausfaellen sowie Dead-Letter-Queue-Mechanismen verhindern Datenverluste in produktiven Log-Pipelines."}

{"title":"Schema-flexibles Verarbeiten","description":"Dank des schema-freien JSON-Ansatzes können strukturierte, semi-strukturierte und unstrukturierte Log-Formate ohne vorab definierten Schema verarbeitet werden."}

{"title":"Apache-2.0-Lizenz","description":"Die permissive Open-Source-Lizenz erlaubt den kommerziellen Einsatz, Modifikation und Weitergabe ohne Copyleft-Verpflichtungen."}

Was sind Vorteile und Nachteile von Fluentd?

Hier sind die wichtigsten Vor- und Nachteile von Fluentd im Überblick:

Vorteile

Vollstaendig kostenlos und Open Source unter Apache-2.0-Lizenz ohne versteckte Kosten
CNCF Graduated Project seit 2019 - höchste Reife- und Stabilitaetsstufe im Cloud-Native-Oekosystem
Über 5.000 Community-Plugins für maximale Flexibilitaet bei Datenquellen und Ausgabezielen
De-facto-Standard für Kubernetes-Logging, gut integriert in gaengige K8s-Distributionen
Ausgereiftes Buffering und Retry-Mechanismen sorgen für zuverlaessige Log-Verarbeitung in Produktivumgebungen

Nachteile

Self-Hosting erforderlich: kein Managed-Cloud-Service, der Betrieb liegt vollstaendig beim Anwender
Konfiguration erfolgt in einer Ruby-DSL, die für Teams ohne Ruby-Kenntnisse eine Einarbeitungshuerde darstellt
Hoehere Memory-Footprint als das leichtgewichtige Schwester-Projekt Fluent Bit, was in ressourcenbeschraenkten Umgebungen nachteilig ist
Enterprise-Support nur über externe Dienstleister erhältlich, kein direkt buchbares kommerzielles Supportpaket

Fluentd-Preise und Kosten

Die aktuellen Preispläne und Kosten von Fluentd sind:

Open Source Free

Beliebt
0 EUR/Monat

Fluentd ist vollstaendig kostenlos und Open Source unter der Apache-2.0-Lizenz. Alle Kernfunktionen inklusive Buffering, Plugin-System und Kubernetes-Integration sind enthalten.

  • Vollstaendiger Funktionsumfang ohne Einschraenkungen
  • 5.000+ Community-Plugins
  • Apache-2.0-Lizenz
  • CNCF Graduated Project
  • In-Memory und File-Buffering
  • Kubernetes-Logging-Unterstützung

Enterprise Support via Chronosphere

Auf Anfrage EUR/einmalig

Kommerzielle Enterprise-Unterstützung wird von Chronosphere (ehemals Calyptia) sowie Partnern wie ClearCode und ITOCHU angeboten. Preise auf Anfrage.

  • Enterprise-Support von den Maintainern
  • SLA-gestuetzte Unterstützung
  • Enterprise-Features und Sicherheitsupdates
  • Professionelles Onboarding
  • Managed-Service-Optionen verfuegbar

Fluentd Videos

Folgende Videos helfen dir beim schnellen Einstieg in Fluentd:

What is the ELK Stack | ELK | Elasticsearch | Logstash | Kibana
4:09

What is the ELK Stack | ELK | Elasticsearch | Logstash | Kibana

Welcome to CodeOps Trek! 🌐 Unlock the power of the ELK Stack in our latest video! 🚀 Explore how Elasticsearch, Logstash, and Kibana work together to revolutionize log management and analysis. Learn how this open-source trio provides a robust solution for collecting, storing, searching, and visualizing log data from your applications. In this video, we cover: What is the ELK Stack? Detailed Overview of Elasticsearch, Logstash, and Kibana How to Use the ELK Stack for Log Management and Analysis Practical Example: Troubleshooting an E-Commerce Application #elk #ELKStack #elasticsearchtutorial #elasticsearch #logstash #kibana #LogManagement #DataAnalysis #TechExplained #CodeOpsTrek #SoftwareDevelopment #ProgrammingTips #TechTutorial #LogAnalysis #realtimeanalytics

Vector Databases simply explained! (Embeddings & Indexes)
4:23

Vector Databases simply explained! (Embeddings & Indexes)

Vector Databases simply explained. Learn what vector databases and vector embeddings are and how they work. Then I'll go over some use cases for it and I briefly show you different options you can use. Resources: - Gentle introduction: https://frankzliu.com/blog/a-gentle-introduction-to-vector-databases - What is a vector database: https://www.pinecone.io/learn/vector-database/ Get your Free Token for AssemblyAI👇 https://www.assemblyai.com/?utm_source=youtube&utm_medium=referral&utm_campaign=yt_pat_75 00:00 - Intro 00:44 - Why do we need vector databases 01:29 - Vector embeddings and indexes 02:58 - Use cases 03:45 - Different vector databases Vector Database Options: - Pinecone - Weaviate - Chroma - Redis - Qdrant - Milvus - Vespa ▬▬▬▬▬▬▬▬▬▬▬▬ CONNECT ▬▬▬▬▬▬▬▬▬▬▬▬ 🖥️ Website: https://www.assemblyai.com 🐦 Twitter: https://twitter.com/AssemblyAI 🦾 Discord: https://discord.gg/Cd8MyVJAXd ▶️ Subscribe: https://www.youtube.com/c/AssemblyAI?sub_confirmation=1 🔥 We're hiring! Check our open roles: https://www.assemblyai.com/careers ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ #MachineLearning #DeepLearning

Intro: TUF / Notary - Justin Cappos, NYU & Justin Cormack, Docker
38:59

Intro: TUF / Notary - Justin Cappos, NYU & Justin Cormack, Docker

Join us for Kubernetes Forums Seoul, Sydney, Bengaluru and Delhi - learn more at kubecon.io Don't miss KubeCon + CloudNativeCon 2020 events in Amsterdam March 30 - April 2, Shanghai July 28-30 and Boston November 17-20! Learn more at kubecon.io. The conference features presentations from developers and end users of Kubernetes, Prometheus, Envoy, and all of the other CNCF-hosted projects Intro: TUF / Notary - Justin Cappos, NYU & Justin Cormack, Docker Software distribution and packaging systems are rapidly becoming the weak link in the software lifecycle. This talk provides an accessible overview of two CNCF projects (Notary and TUF), that provide what has been roundly described as the most secure mechanism for distributing software. Notary, which implements the TUF specification, signs and transparently validates metadata to enable the system to recover from the compromise of servers, theft of keys, insider attacks, etc. Notary / TUF are surprisingly easy to use and used to provide cutting edge security not only across major cloud companies, but a diverse set of adopters, including automobiles. WARNING: Attending this talk may cause (justifiable) fear in the software update mechanism on your devices! https://sched.co/MPik

Welche Fluentd-Integrationen gibt es?

Diese Integrationen stehen für Fluentd zur Verfügung:

amazon_sns

Amazon Web Services

Fluent output plugin to send to Amazon SNS

Mittel

aurora-slowquerylog

Amazon Web Services

A fluentd plugin that collects AWS Aurora slow query logs with `log_output=FILE`

Mittel

aws-elasticsearch-service

Amazon Web Services

Output plugin. Post to Amazon Elasticsearch Service

Mittel

aws_waf_ip_sets

Amazon Web Services

AWS WAF IP sets automation plugin for fluentd

Mittel

cloudfront-log

Amazon Web Services

AWS CloudFront log input plugin for fluentd

Mittel

cloudfront-log-optimized

Amazon Web Services

AWS CloudFront log input plugin for fluentd (upstream unmaintained)

Mittel

cloudfront-log-v0.14-fix

Amazon Web Services

Temporary AWS CloudFront log input plugin for fluentd

Mittel

cloudsearch

Amazon Web Services

Amazon CloudSearch output plugin for Fluent event collector

Mittel

cloudwatch

Amazon Web Services

Input plugin for AWS CloudWatch

Mittel

cloudwatch-ingest-chaeyk

Amazon Web Services

Fluentd plugin to ingest AWS CloudWatch logs

Mittel

cloudwatch-logs

Amazon Web Services

CloudWatch Logs Plugin for Fluentd

Mittel

cloudwatch-logs-foxtrot9

Amazon Web Services

CloudWatch Logs Plugin for Fluentd

Mittel

cloudwatch-logs-yajl

Amazon Web Services

CloudWatch Logs Plugin for Fluentd

Mittel

cloudwatch-put

Amazon Web Services

CloudWatch put metric plugin for fluentd

Mittel

cloudwatch-put-timestamp

Amazon Web Services

CloudWatch put metric plugin for fluentd

Mittel

cloudwatch-transform

Amazon Web Services

Fluentd plugin for transforming CloudWatch alerts

Mittel

dos_block_acl

Amazon Web Services

Access block by AWS network ACL

Mittel

dynamo

Amazon Web Services

Amazon DynamoDB output plugin for Fluent event collector

Mittel

dynamodb

Amazon Web Services

Amazon DynamoDB output plugin for Fluent event collector

Mittel

dynamodb-streams

Amazon Web Services

Amazon DynamoDB Streams input plugin for Fluentd

Mittel

ec2-metadata

Amazon Web Services

Fluentd output plugin to add Amazon EC2 metadata fields to event records

Mittel

ecs-filter

Amazon Web Services

Filter plugin to add AWS ECS metadata

Mittel

ecs-metadata-filter

Amazon Web Services

Filter plugin to add AWS ECS metadata to fluentd events

Mittel

ecs-metadata-filter-v2

Amazon Web Services

Filter plugin to add AWS ECS metadata to fluentd events

Mittel

elb-access-log

Amazon Web Services

Fluentd input plugin for AWS ELB Access Logs

Mittel

elb-log

Amazon Web Services

Amazon ELB log input plugin for fluentd

Mittel

eventbridge

Amazon Web Services

Fluentd output plugin for AWS EventBridge

Mittel

firelens-tag-filter

Amazon Web Services

Rewrite tags of messages sent by AWS firelens for easy handling

Mittel

forward-aws

Amazon Web Services

Fluentd In/Out plugin to forward log through AWS (S3/SNS/SQS)

Mittel

kinesis

Amazon Web Services

Fluentd output plugin that sends events to Amazon Kinesis

Mittel

kinesis-aggregation

Amazon Web Services

Fluentd output plugin that sends KPL style aggregated events to Amazon Kinesis

Mittel

kinesis-modified

Amazon Web Services

Fluentd output plugin that sends events to Amazon Kinesis (forked)

Mittel

lambda-ext

Amazon Web Services

Output plugin for AWS Lambda

Mittel

rds-error-log

Amazon Web Services

Fluentd plugin for Amazon RDS Error/Audit log input

Mittel

rds-genlog

Amazon Web Services

Amazon RDS gen_log input plugin for Fluent event collector

Mittel

rds-log

Amazon Web Services

Amazon RDS slow_log and general_log input plugin for Fluent event collector

Mittel

rds-mysql-log

Amazon Web Services

Fluentd plugin for Amazon RDS Mysql logs input

Mittel

rds-mysql-slow-log

Amazon Web Services

Fluentd input plugin for MySQL slow query log table on Amazon RDS

Mittel

rds-pgsql-log

Amazon Web Services

Fluentd plugin for Amazon RDS PostgreSQL log input

Mittel

rds-pgsql-slow-query-log

Amazon Web Services

Fluentd plugin for Amazon RDS PostgreSQL log input with slow query support

Mittel

rds-slowlog

Amazon Web Services

Amazon RDS slow_log input plugin for Fluent event collector

Mittel

rds-slowlog-patched-encoding

Amazon Web Services

Amazon RDS slow_log input plugin for Fluent event collector

Mittel

redshift-anton

Amazon Web Services

Amazon Redshift output plugin for Fluentd with custom Redshift COPY timeformat

Mittel

redshift-auto

Amazon Web Services

Amazon Redshift output plugin for Fluentd with creating table

Mittel

redshift-out

Amazon Web Services

Amazon Redshift output plugin for Fluentd

Mittel

redshift-out2

Amazon Web Services

Amazon Redshift output plugin for Fluentd

Mittel

redshift-v2

Amazon Web Services

Amazon Redshift output plugin for Fluentd (inspired by fluent-plugin-redshift)

Mittel

s3

Amazon Web Services

Amazon S3 output plugin for Fluentd event collector

Mittel

s3-file-inclusion

Amazon Web Services

Amazon S3 output plugin for Fluentd event collector

Mittel

ses

Amazon Web Services

Fluent output plugin for AWS SES

Mittel

sns

Amazon Web Services

Amazon SNS output plugin for Fluent event collector

Mittel

sqs

Amazon Web Services

Amazon SQS input/output plugin for Fluent event collector

Mittel

sqs-poll

Amazon Web Services

Fluent input plugin using aws-sdk sqs poller to receive messages

Mittel

sqs-rws

Amazon Web Services

Amazon SQS input/output plugin for Fluent event collector

Mittel

sqs-tarjei

Amazon Web Services

Amazon SQS input/output plugin for Fluent event collector

Mittel

timestream

Amazon Web Services

Fluentd output plugin which writes Amazon Timestream record

Mittel

hbase

Big Data

HBase output plugin for Fluent event collector

Mittel

td

Big Data

Treasure Data Cloud Data Service plugin for Fluentd

Mittel

webhdfs

Big Data

Plugin for WebHDFS and HttpFs of Hadoop HDFS

Mittel

Fluentd Erfahrungen (0)

So bewerten Nutzerinnen und Nutzer Fluentd:

Eigene Bewertung schreiben

5.0

Noch keine Bewertungen

Sei der Erste, der dieses Tool bewertet!

Häufig gestellte Fragen zu Fluentd

Die wichtigsten Fragen und Antworten zu Fluentd auf einen Blick: