Big Data souverän gelöst

Datenströme über eine virtuelle Streaming-Plattform speichern und verarbeiten – Apache Kafka ermöglicht es. Puzzle ITC stellt der Mobiliar einen Kafka Cluster als Basis für Messaging und Streaming Use Cases bereit.

Puzzle ITC unterstützt Die Schweizerische Mobiliar bei der Bereitstellung eines Kafka Clusters als Basis für Messaging und Streaming Use Cases in Entwicklung, Test und Produktion. Die Aufgabe bestand darin, die virtuelle Streaming-Plattform zu definieren, zu integrieren und den 3rd Level Support sicher zu stellen. Apache Kafka basiert auf einer verteilten Architektur, die für eine hohe Fehlertoleranz und Skalierbarkeit optimiert ist. Dadurch eignet sich Apache Kafka für die Verarbeitung der grossen Datenmenge der Mobiliar.

Confluent Kafka Distribution

Der Cluster basiert auf den Open Source – und Community Features einer Confluent Kafka Distribution, die mit Zusatzkomponenten für den sicheren Betrieb ergänzt wurde. Das Setup ist vollständig high available in die Mobiliar Cloud-Plattform, Tool- und Service-Landschaft sowie in den Richtlinien integriert. Die Lösung besteht aus einer ausgewählten Palette von Technologien und Tools basierend auf FOSS (Free OpenSource Software).

Apache Kafka bietet der Mobiliar Vorteile wie geringe Latenzen, hoher Durchsatz und die Möglichkeit, Echtzeit-Streams zu verarbeiten.

«Auf Basis von frei verfügbaren Open Source-Komponenten haben wir eine hochverfügbare Messaging und Streaming Plattform aufgebaut, und diese gemäss den Guidelines erfolgreich in die bestehende Toollandschaft integriert.»

Benjamin Bühlmann, Senior Software Architect, Puzzle ITC

Einige Aufgaben von Puzzle im Projekt:

  • Definition des Ökosystems & der Plattform
  • Aufbau & Engineering der Integration des Ökosystems in die Systemlandschaft
  • Integration in die Monitoring & Alerting Infrastruktur
  • Testen von Betriebs- & Fehlerszenarien
  • Performancemessungen von Storage Lösungen
  • Automatisierung mittels Pipelines
  • Automatisierung des Zertifikatsmanagement via Helm
  • Definieren der relevanten Monitoring Metriken & deren Visualisierung
  • Onboarding des Betriebsteams
  • Evaluation von verschiedenen Kafka as a Service Lösungen
  • 3rd Level Support
Februar 2018 – September 2018
Apache ZooKeeper, Kafka Connect, Schema Registry, Yahoo Kafka Manager, Prometheus & Grafana, Maintenance, Burry, Kubernetes, Helm
Apache Kafka, Kafka Cluster

Die Mobiliar, 1826 in Bern gegründet, ist die älteste private Versicherungs-gesellschaft der Schweiz. Sie ist genossenschaftlich verankert und beschäftigt über 4’000 Mitarbeiterinnen und Mitarbeiter.