Kafka Meetup: Big Data Experten zu Gast bei Ippen Digital

+

Manche Technologien erobern die IT-Community im Sturm. Apache Kafka gehört dazu und hat sich in kürzester Zeit als wesentlicher Baustein für Big Data-Anwendungen etabliert. Auf der Plattform von Ippen Digital laufen knapp 60 News-Portale mit rund 20 Millionen uniquen Nutzern im Monat. Will man deren Nutzungsverhalten verstehen, um den besten Inhalt zum richtigen Zeitpunkt ausliefern zu können, ist eine eigene Big-Data-Architektur nötig. Ippen Digital hat dazu eine eigene Integrationsplattform aufgebaut, die nicht mehr auf zerklüftete Daten-Silos zugreift, sondern schematisiert und damit leicht verarbeitbar in Kafka zur Verfügung stellt.

Wer Netflix, Uber, PayPal, oder AirBnB aufruft, nutzt Kafka – wahrscheinlich ohne es zu wissen. Tausende Firmen vertrauen mittlerweile der Kerntechnologie zur schnellen Verarbeitung von großen Datenmengen. Experten nennen das „Stream Processing“, ein Schlüsselbegriff im Umfeld von Big Data. Gemeint ist die sehr schnelle Verarbeitung von Datenströmen – auch „fast data“ genannt.

Vorträge von Top-Experten: Michael Noll und Kai Waehner

Am 28. Juni 2017 trafen sich interessierte Experten zum Kafka-Meetup bei Ippen Digital in München, um zu erfahren, wie sich große Datenmengen schnell skalierbar parallel verarbeiten lassen – und besonders herausfordernd: Wie sich eine Architektur einfach halten lässt, wenn sich die gemessenen Daten in großer Zahl laufend ändern und dauernd neue Datenquellen integriert werden müssen. Genau hier greift Stream Processing ein, für die Apache Kafka die führende Plattform ist.

Michael Noll zeigt in seiner Keynote sehr anschaulich, wie sich Anwendungen in der neuen Welt der Streams mit den Tugenden der alten Programmierwelt der Datenbanken verknüpfen lassen. Noll ist Produktmanager bei Confluent, einem Spinoff der Kafka-Gründer. Der Big-Data-Blogger war der technische Leiter von Verisign Big-Data-Plattform, wo er eine Infrastruktur mit Kafka, Hadoop und Storm von Null zu einigen Pentabyte aufgebaut hat – damals einer der größten Plattformen in Europa. „Kafka ist eine Technik für Unternehmen, an der Echtzeit-Welt teilzunehmen“, definiert Noll und bricht die digitale Welt herunter: „Wenn man über die Straße geht, will man auch sofort wissen, ob ein Auto kommt und nicht erst fünf Minuten später erfahren, was vor fünf Minuten auf der Straße los war.“ Genau das könne Kafka garantieren. Informationen werden in Echtzeit übermittelt.

"Wollten der Community etwas zurückgeben"

Auch Ippen Digital profitiert davon. „Wir nutzen Kafka schon seit einiger Zeit und uns hilft die Technologie enorm weiter“, schwärmt IT-Chefarchitekt Markus Franz, Veranstalter des MeetUps. „Wir wollten der Community etwas zurückgeben, sie an der Technologie teilhaben lassen.“ Deshalb hat Ippen Digital die Profis von Apache Kafka eingeladen. „Die können das Interessierten besser erklären.“ Dies übernahm dann Kai Waehner, Analyst von Confluent und einer der bekanntesten Redner zu Themengebieten wie Big Data Analytics, Machine Learning und Internet of Things. Er erklärte, wie man Analysen mithilfe von R, Pyhton oder Scala erstellt.

Ippen Digital setzt Kafka ein, damit die Portale auf der ID Plattform davon profitieren können. So erhalten die Leser schneller und zielgerichteter die Informationen, die sie brauchen. „Unsere Leser von heute sind digital, geografisch ungebunden und ständig erreichbar“, sagt Franz. „Dank Kafka haben wir eine technologische Infrastruktur, die den Leserbedürfnissen und unserer Vision gerecht wird.“

Die Alte Rotation war gut gefüllt. Rund 80 Gäste hörten sich den Vortrag über Kafka an. Wie können andere Unternehmen mit Kafka ihre Performance steigern? „Wir haben zum Beispiel einer Bank geholfen, dass sie ihren Kunden in Echtzeit einen Alarm einrichten kann, wenn das Konto unter einen bestimmten Betrag gesunken ist“, erzählt Noll. Davor mussten die Kunden fünf bis zehn Minuten warten, ehe Sie erfahren haben, dass Sie mehr Geld ausgegeben haben als sie wollten. Und auch Gründer und Geschäftsführer von Ippen Digital sowie Gastgeber des Abends, Jan Ippen, war sehr zufrieden: „Wir haben einen vollen Saal, die Zuhörer kommen von Unternehmen aus dem Großraum München und sind international. Ein rundum gelungener Abend“, sagt er und lächelt.