Streaming-Plattform für vernetzte Fahrzeugdaten

Streaming-Plattform eines großen deutschen Automobilherstellers: Telemetriedaten aus Kundenfahrzeugen entgegennehmen und nahezu in Echtzeit an über 50 interne und externe Zielsysteme verteilen – betrieben auf AWS in den Regionen EMEA, USA und China und ausgelegt auf mehrere Millionen Events pro Tag.

Die Plattform ist weiterhin produktiv im Einsatz und wird fortlaufend erweitert.

Zeitraum: 2018 – 2024, 2025 – 2026 · Auftraggeber: großer deutscher Automobilhersteller · Branche: Automobilindustrie

Aufgabe

Vernetzte Fahrzeuge senden laufend Telemetriedaten, z. B. Fahrzeugzustand, Diagnose- und Standortdaten. Die Plattform nimmt sie entgegen und verteilt sie an die Zielsysteme, die sie benötigen: interne Fachsysteme des Herstellers ebenso wie externe Partner. Jedes Zielsystem erhält nur die für es bestimmten Daten. Gestartet im lokalen Rechenzentrum des Auftraggebers, wurde die Plattform über die Jahre zu einer Microservice-Architektur auf AWS umgebaut. Für die Zielsysteme zählt: vollständige Daten, geringe Verzögerung und ständige Verfügbarkeit.

Die technischen Herausforderungen dahinter:

• Durchsatz nahezu in Echtzeit: Mehrere Millionen Events pro Tag müssen ohne Verlust und mit geringer Verzögerung verarbeitet und weitergegeben werden.
• Viele Zielsysteme: Über 50 interne und externe Zielsysteme erhalten jeweils ihren Ausschnitt der Daten. Neue Zielsysteme werden angebunden, ohne die bestehenden zu beeinträchtigen.
• Einheitliche Datenformate: Die Datenformate werden als Avro- oder Protobuf-Schemata zentral in der Glue Schema Registry verwaltet, damit Sender und Zielsysteme auch bei Änderungen kompatibel bleiben.
• Mehrere Regionen: Die Plattform läuft von Anfang an in den Regionen EMEA, USA und China. Die Infrastruktur ist mit Terraform als Code beschrieben und wird automatisiert in alle Regionen ausgerollt.
• Migration im laufenden Betrieb: Die Webservices zogen aus dem Rechenzentrum des Auftraggebers (On-Premise und OpenShift) nach AWS. Die Zielsysteme mussten währenddessen ohne Unterbrechung weiter beliefert werden.
• Informationssicherheit: Fahrzeugdaten sind sensibel. Plattform und Abläufe müssen die Anforderungen von TISAX erfüllen, dem Standard für Informationssicherheit in der Automobilindustrie.
• Betrieb und Monitoring: Das Team betreibt die Services selbst nach DevOps-Prinzipien, bis hin zum Incident Management. Zustand, Durchsatz und Fehler werden mit Datadog, Dynatrace und Grafana überwacht, damit Engpässe rechtzeitig auffallen.
• Wartbarkeit: Über die Jahre sind über 20 Webservices entstanden. Sie werden analysiert und konsolidiert, damit die Plattform wartbar bleibt.

Rolle und Umsetzung

• Backend-Entwickler, Test Automation Engineer
  Phase 1: 2018 – 2020 · Stabilisierung und Go-live
  • Lasttests, Performance-Analyse und Optimierung der Webservices vor der Produktivsetzung (Gatling, JProfiler)
  • Fehleranalyse und Stabilisierung bis zum Go-live (Payara, Spring Boot, Kafka)
  • Testautomatisierung (Methoden, API, Komponenten, Integration)
  • Umsetzung neuer fachlicher Funktionen
• Software-Architekt, Backend-Entwickler, Business Analyst, Test Automation Engineer
  Phase 2: 2020 – 2022 · Migration nach AWS
  • Architektur der ereignisgesteuerten Zielplattform auf AWS (Kafka auf Amazon MSK, Kinesis)
  • Migration der On-Premise- und OpenShift-Webservices nach AWS im laufenden Betrieb (ECS, Fargate, Lambda)
  • Infrastruktur als Code für alle Regionen mit Terraform
  • Schemaverwaltung mit Avro, Protobuf und Glue Schema Registry
  • Anforderungsanalyse: fachliche Funktionen gemeinsam mit dem Auftraggeber ausgearbeitet und umgesetzt
  • Schulungen im Team zu neuen Technologien und Prozessen
• Software-Architekt, Backend-Entwickler, Business Analyst, Test Automation Engineer
  Phase 3: 2022 – 2024 · Ausbau
  • Beratung des Auftraggebers zu Architektur und Anbindungskonzepten
  • Anbindung neuer und Migration bestehender Zielsysteme
  • Ausbau von CI/CD (GitHub Actions) und automatisierten Integrationstests
  • Maßnahmen und Dokumentation für die TISAX-Zertifizierung
  • Schulungen im Team
• Software-Architekt, Backend-Entwickler, Business Analyst, Test Automation Engineer
  Phase 4: 2025 – 2026 · Konsolidierung
  • Analyse der gewachsenen Kafka-basierten Service-Landschaft und Entwurf der Zielarchitektur (Kafka Streams, Apache Camel)
  • Konsolidierung der Webservices
  • Fachliche Erweiterungen der Spring-Boot-Services
  • Migration auf Spring Boot 4.x und Java 21

Technologien

• Java
• Python
• Spring Boot 2.x – 4.x
• Payara
• Apache Camel
• Apache Kafka
• Kafka Streams
• Apache Avro
• Protocol Buffers
• AWS Glue Schema Registry
• Amazon MSK
• Amazon Kinesis
• Amazon ECS
• AWS Fargate
• AWS Lambda
• Docker
• OpenShift
• Terraform
• GitHub Actions
• REST
• OpenAPI
• Gatling
• JProfiler
• Datadog
• Dynatrace
• Grafana
• GitHub Copilot