Der Hardware-Ansatz des Data Mesh
Da der Data Mesh-Ansatz darauf abzielt, den Fachbereichen die Kontrolle über ihre eigenen Daten zu geben – oder sogar zurückzugeben –, muss dies auf einfache Weise geschehen. Dies ist die Rolle einer Datenplattform. Föderiert und interoperabel organisiert sie den Self-Service der Daten und der von den Fachbereichen erstellten Datenprodukte (die Domänen gemäß der Data Mesh-Terminologie).
Im Rahmen des Data Mesh geht die Plattform über den Self-Service der Daten hinaus. Sie stellt auch die notwendigen Ressourcen für die Produktgestaltung bereit: Anwendungsdienste, Provisionierung, Hardware-Ressourcen usw. Es ist eine echte Infrastruktur.
Das Prinzip einer Datenplattform basiert auf der Speicherung großer Datenmengen, um spezifische Anwendungsfälle zu nutzen, wie z.B. eine nahezu in Echtzeit erfolgende Antwort auf die Nachfrage zu bieten oder die Interaktionen zwischen verschiedenen Daten-Typen zu vervielfachen (man denke an Benutzerprofile, die reich an binären Daten und nicht-binären Daten sind). Im weiteren Sinne adressiert eine Datenplattform alle Prozesse, die für die Umsetzung von Projekten wie Datenqualität, künstliche Intelligenz oder Machine Learning, Data Science und andere KI erforderlich sind.
Während der Cloud und die Virtualisierung die erwartete Flexibilität in der Dateningenieurtechnik bieten, sei daran erinnert, dass eine Data Intelligence Plattform agnostisch bleiben muss. Abhängig von den Einschränkungen, den Sicherheitsanforderungen und der vorherigen Organisation kann die Organisation perfekt einen hybriden Betrieb übernehmen, einen privaten Cloud bevorzugen oder auf ihren Datalake zurückgreifen, wenn sie bereits einen besitzt. Das Wesentliche ist, die Kontrolle über die Zuweisung der Hardware-Ressourcen zu behalten und die erforderliche Agilität zu bewahren, um langfristig alle Anwendungen zu industrialisieren.
Data Intelligence
Basierend auf einem Datalake, der zunächst für die Bedürfnisse der POST Luxembourg Gruppe implementiert wurde, deren Aktivitäten ein extrem breites Spektrum an Dienstleistungen abdecken, wurde diese Data Intelligence Plattform in erster Linie entwickelt und konzipiert, um sicherzustellen, dass alle Daten auf rigorose und kohärente Weise gehalten, verwaltet und genutzt werden, um sowohl den internen als auch den externen Kundenbedürfnissen der Gruppe gerecht zu werden.
Nun von DEEP vertrieben, besteht diese Dataplatform aus mehreren technologischen Stacks, On premise oder in der Cloud, die es ermöglichen, Daten unabhängig von ihrer Herkunft mit verschiedenen Artikulationsmodi zu ingestieren: Ingestion, Transformation, Speicherung, Historisierung, Data Discovery (Data Mining und Machine Learning) insbesondere. Sie richtet sich somit an alle großen Organisationen, die einen ersten Big Data-Ansatz unternommen haben oder spezifische Bedürfnisse im Zusammenhang mit großen Datenflüssen erkannt haben, wie z.B. die massive Nutzung von IoT.
Data Intelligence verwaltet die Daten-Segregation, um die differentielle Last zu betreiben, die es ermöglicht, die Latenzzeiten des Systems zu verbessern. Ihre multisite Selbstreplikationslösungen gewährleisten die Servicekontinuität.
Ähnlich wie die Logical Data Fabric ist die Dataplatform ein modulares (physisches) Framework, das man je nach seinen Anwendungsbedürfnissen und der Entwicklung der Daten zur Information Baustein für Baustein zusammensetzt: Echtzeit, Archivierung, Data Quality, KI, Reporting, etc.
Eine Data Platform ersetzt nicht das Bestehende. Sie konsolidiert und sichert die zahlreichen Daten-Managementquellen, die eine große Organisation in der Regel besitzt.
Ein konkretes Beispiel für die Möglichkeiten der Data Intelligence
Ein Anwendungsfall, der die Möglichkeiten der Data Intelligence-Plattform und insbesondere ihres automated machine learning-Moduls veranschaulicht, ist derzeit auf europäischer Ebene im Gange.
Data for road safety ist ein groß angelegtes Projekt zur Sicherung der europäischen Straßen, das auf der Konvergenz und Echtzeitanalyse mehrerer Datenquellen von der POST Luxembourg-Plattform basiert. Die Beitragszahler sind zahlreich, darunter Automobilhersteller und -zulieferer, Verkehrsmeldungen, GPS-Daten, öffentliche Daten von Behörden und europäischen Staaten usw. Diese Zusammenarbeit zwischen dem öffentlichen und dem privaten Sektor hat beispielsweise dazu beigetragen, die Erkennungszeiten kritischer Sicherheitssituationen in den Niederlanden um durchschnittlich 12 Minuten zu verkürzen.
Unterstützung, Sicherheit und Datenhoheit
Verfügbar in der Cloud und On premise, ist POST Data Intelligence eine Data as a Service-Plattform. Die Kunden haben dann zwei Möglichkeiten: ihre eigenen Produkte intern zu entwickeln oder die Aufgabe der analytischen Abteilung von POST Luxembourg zu überlassen.
Datenanreicherung kann auch von den Experten von POST Luxembourg durchgeführt werden, um externe Daten wie Open data zu integrieren oder bereitzustellen und sie zu exponieren. Schließlich sind Dashboarding- und Visualisierung-Tools direkt auf dem Datalake implementiert (in Form von Modulen à la carte). In seiner Cloud-Version wird POST Data Intelligence in einer souveränen Cloud gehostet.
Dies ist die dritte Säule des Data Mesh. Was bleibt also noch zu implementieren? Nun, die Daten-Governance und die Datenprodukte. Föderiert natürlich, um keinen Vorteil des durch die Technologie ermöglichten Meshings zu verlieren. Es ist sowohl eine Steuerung als auch eine Strategie. Sie orchestriert alle Interaktionen mit Qualität und Flüssigkeit. Die föderierte Governance ist das Thema des vierten und letzten Artikels unserer Reise rund um das Data Mesh.
Fortsetzung unserer Reise Data Mesh. Nach dem Konzept und seiner Anwendung innerhalb der Logical Data Fabric ist es an der Zeit, das physische Werkzeug, den Motor des Data Mesh, zu betrachten: die Self-Service Daten-Infrastruktur. Die dritte Säule des Daten-Vernetzungsprozesses, die Data Platform, gewährleistet die Konsolidierung der Daten durch deren Speicherung und ermöglicht letztendlich die Umsetzung ihrer Governance.
