Streaming von Datenbankänderungen mit Debezium mit Gunnar Morling

Am 18.7.2018 war Gunnar Morling zu Gast bei der JUG-Darmstadt und hat einen Vortrag mit dem Titel Streaming von Datenbankänderungen mit Debezium gehalten.

Los ging es mit einer Erklärung was Change Data Streams überhaupt sind und was die typischen Anwendungsfälle von CDC ist.

Generell also Datenbankänderungen in einer Datenbank sollen in eine andere Datenbank übernommen werden. Wobei es sich bei den Zieldatenbanken nicht unbedingt um eine Datenbank des gleichen Typs handeln muss.

Es können beispielweise auch Datensenken, wie Hadoop, Spark oder Elastic sein.

Zu erwähnend ist, dass der Datentransport zwischen den Systemen über Kafka erfolgt.

Als weiteren Use Case hat Gunnar den Datenaustausch zwischen Datenbank von Microservices erwähnt.

Als nächstes ist er darauf eingegangen, wie CDCs (Change Data Capture) erstellt werden können. Im Fall von Debezium werden Logfiles von Datenbanken ausgewertet.

Diesen Ansatz hat Gunnar dann genauer beschrieben, d.h. er hat erklärt, wie das Zusammenspiel von Datenbank und Kafka Connect ist und wie die Daten aussehen, die zwischen den Systemen über Kafka ausgetauscht werden. D.h. in einem Fall einfach Json oder in einem Binärformat, wenn man Avro verwendet.

Nachdem er dann eine Reihe von verfügbaren Konnektoren für Debezium ausgezählt hat und auf verschiedenen andere Eigenschaften von Debezium eingegangen ist, hat er bei einer Live-Demo gezeigt, wie Debezium arbeitet.


Zum Abschluss gab es noch einen Ausblick auf die zukünftige Entwicklung von Debezium.

Ich finde den Ansatz mit CDCs sehr interessant. Gerade, wenn man Daten zwischen Microservices abgleichen möchte oder einen Index mit Elasticsearch benötigt.

Durch die vielen Fragen und die rege Diskussion wurde deutlich, dass der Vortrag gut ankam und das Thema viele Leute interessiert.

Vielen Dank an Gunnar für den Besuch in Darmstadt und den interessanten Vortrag!

Außerdem vielen Dank an Cosee, dass wir den Vortrag bei ihnen durchführen konnten und auch für das leibliche Wohl gesorgt war. :-)


Wer keine Möglichkeit hatte an dem Abend dabei zu sein, kann sich eine Aufzeichnung des Vortrags bei Youtube ansehen.

Die Folien zu dem Vortrag findet man hier.

Kommentare sind abgeschaltet.