Grundlagen der Datenintegration

Was ist Datenintegration?

Bei der Datenintegration werden Daten aus unterschiedlichen Quellen in einer zentralen Datensammlung zusammengeführt und vereinheitlicht, um diese für die Analyse und andere Geschäftsbereiche effektiv nutzbar zu machen.

Da die IT-Umgebung jedes Unternehmens unterschiedlich ist, handelt es sich dabei nicht um einen einheitlichen Prozess, sondern um eine ganze Reihe von IT-Architekturen, Verfahren und möglichen Software-Lösungen, die zum Einsatz kommen können. Ziel ist es, alle Daten in einer zentralen Datensammlung wie in einem Data Warehouse oder Data Lake zusammenzuführen und diese für die Datenanalyse, das Automatisieren von Prozessen sowie für andere Geschäftsbereiche bestmöglich nutzbar zu machen.

Hierfür werden die heterogenen (verschiedenartigen) Daten den Anforderungen entsprechend in ein einheitliches Format umgewandelt, von Fehlern bereinigt und in einer zentralen Ansicht bereitgestellt.

Wofür wird es benötigt?

Die Betriebssysteme, Software-Anwendungen und Datenbanken eines Unternehmens basieren meist auf unterschiedlichen Datenformaten und -protokollen. Das führt dazu, dass die Daten, die in den jeweiligen Abteilungen anfallen, nicht miteinander kompatibel sind und sich Datensilos bilden, in denen die Daten isoliert bleiben und nicht in mit den anderen Bereichen einer Organisation geteilt oder verknüpft werden können. Die Folge sind ineffiziente Prozesse, redundante, inkonsistente oder veraltete Daten sowie unvollständige oder fehlerhafte Datenanalysen.

Die Datenintegration wird entsprechend dafür benötigt, alle Daten einer Organisation miteinander zu verbinden und in einer zentralen Benutzeroberfläche zur Verfügung zu stellen, um sie abteilungsübergreifend überwachen (Governance) und orchestrieren zu können. Das reicht von der Datenanalyse bis zur Prozessoptimierung und betrifft alle Unternehmensbereiche wie:

• Datenanalyse und Business Intelligence (BI)
• IT-Management
• Marketing und Vertrieb
• Kundenbeziehungsmanagement (CRM)
• Personalmanagement
• Supply Chain Management (SCM)
• Produktentwicklung
• Compliance und Risikomanagement
• Controlling
• …

Datenintegrationsprozess Schritt für Schritt: So funktioniert die Datenintegration

Datenintegrationsmodelle basieren meist auf einem ETL-Prozess (siehe ETL/ELT). ETL steht für Extract, Transform, Load und bedeutet, dass die Daten zuerst aus einer oder mehreren Datenquellen gelesen (extrahiert), dann aufbereitet (transformiert) und schließlich in eine Datenbank o.Ä. hineingeladen werden. In diesem Integrationsprozess werden die Daten bereinigt, auf deren Qualität überprüft und so umgewandelt, dass sie vom Zielsystem korrekt gelesen werden können.

Allgemein läuft der gesamte Datenintegrationsprozess folgendermaßen ab:

1. Identifikation und Mapping der Datenquellen
   Zunächst gilt es, alle relevanten Datenquellen zu identifizieren und in einem Datenmodell deren Verbindungen und Abhängigkeiten zueinander zu visualisieren. Diese können aus internen Quellen wie CRM- oder ERP-Systemen stammen oder auch externe wie soziale Medien und öffentliche Datenbanken umfassen.
2. Datenextraktion
   Nach der Identifikation der Quellen erfolgt die Extraktion der Daten. Hierbei wird der jeweils benötigte Datensatz aus den Ursprungssystemen entnommen.
3. Datenbereinigung
   Die extrahierten Daten sind oft unvollständig, inkonsistent oder redundant, weshalb in diesem Schritt die Bereinigung erfolgt, um deren Qualität und Genauigkeit zu gewährleisten. Dies umfasst das Entfernen von Duplikaten, das Korrigieren von Fehlern und das Vereinheitlichen von Formaten.
4. Datenintegration
   Jetzt werden die bereinigten Daten zusammengeführt. Dies kann durch verschiedene Techniken wie ETL (Extract, Transform, Load) oder Datenföderation erfolgen. Ziel ist es, eine kohärente Datenbasis zu schaffen, die eine ganzheitliche Analyse ermöglicht.
5. Datenspeicherung
   Die integrierten Daten müssen in einem zentralen Speichersystem abgelegt werden. Hierfür eignen sich Data Warehouses oder Data Lakes, die für spezifische Geschäftsbereiche konzipiert sind.
6. Datenabfrage und -analyse
   Abschließend werden die integrierten Daten abgefragt und analysiert. Dies ermöglicht Unternehmen eine vollständige und einheitliche Sicht auf die Daten, um damit wertvolle Erkenntnisse zu gewinnen und schnellere, datengetriebene Entscheidungen treffen zu können.

Eine Situation, in der das Thema Datenintegration in Unternehmen häufig neu bewertet wird, ist die Datenmigration, d.h. das Überführen aller Daten in ein neues System oder auf eine neue Plattform. Im Zuge dieses Integrationsprozesses muss nach der Identifizierung der Datenquellen eine passende Datenintegrationslösung gefunden werden, die alle Geschäftsanforderungen und Systemvoraussetzungen erfüllt und sowohl mit den neuen als auch mit den Altsystemen (sog. Legacy-Systeme) kompatibel ist. Wenn die Nutzung von Legacy-Systemen im Vordergrund steht, eignet sich der Bottom-up-Ansatz für eine flexible und schrittweise Integration.

Wichtige Begriffe und Technologien

Datenintegration ist ein facettenreiches Feld, das eine Vielzahl von Begriffen und Technologien umfasst. Um die Komplexität dieses Bereichs etwas zu entwirren, ist es hilfreich, die zugrundeliegenden Begriffe und Konzepte zu verstehen.

ETL (Extract, Transform, Load): Bei diesem Prozess werden Daten aus verschiedenen Quellsystemen extrahiert, in ein einheitliches Format transformiert und in ein Zielsystem geladen. ETL ermöglicht, dass Unternehmen auf konsolidierte und nutzbare Informationen der zugrunde liegenden Daten zugreifen können.

Data Warehousing: Bezeichnet die Datenverwaltung mit einem Data Warehouse, d.h. in einer zentrale Datensammlung, in der alle Daten eines Unternehmens zusammenlaufen und für die Analyse bereitstehen.

API (Application Programming Interface): APIs oder zu Deutsch Programmierschnittstellen sind für die Datenintegration besonders wichtig, denn über sie werden alle Systeme und Anwendungen miteinander verknüpft, sodass diese Daten in Echtzeit austauschen und miteinander interagieren können. Middleware-Lösungen verfügen daher häufig über Funktionen für das API-Management.

Middleware: Eine Middleware wie Lobster_data ist eine Datenintegrationssoftware, die als Vermittler zwischen den unterschiedlichen Betriebssystemen, Anwendungen, Systemen und Datenbanken fungiert. Sie bietet eine zentrale Benutzeroberfläche und zahlreiche Funktionen, welche die Datenintegration und das spätere Datenmanagement der IT-Landschaft erleichtern.

Data Fabric: Eine moderne Datenmanagement-Architektur, die eine umfassende Integration, Zugänglichkeit, Verwaltung und Steuerung von Daten über verschiedene Systeme, Plattformen und Umgebungen hinweg ermöglicht.

Datenorchestrierung: Bezeichnet die zentrale Koordination und Verwaltung aller Datenflüsse über verschiedene Systeme, Plattformen und Umgebungen hinweg.

Datenqualität: Ein Ziel der Datenintegration ist es, die Datenqualität zu erhöhen und konsistent zu halten. Das geschieht durch eine sog. Datenbereinigung, bei der Datenfehler identifiziert und korrigiert sowie Inkonsistenzen beseitigt werden, um durchweg hochwertige und einheitliche Daten zu erhalten.

Stammdatenmanagement (Master Data Management, MDM): MDM bezieht sich auf die Praktiken, Werkzeuge und Prozesse, die sicherstellen, dass die Stammdaten eines Unternehmens – also die zentralen Daten, die in verschiedenen Geschäftsbereichen verwendet werden – konsistent und genau sind.

Serviceorientierte Architekturen (SOA):
In einer SOA werden unabhängige Softwareeinheiten lose miteinander gekoppelt, was ihnen erlaubt, autonom zu agieren und gleichzeitig reibungslos miteinander zu kommunizieren, um höherwertige IT-Services bereitzustellen.

Big-Data-Technologien: Mit dem Aufkommen von Big Data haben sich Technologien wie Hadoop und Spark als wichtig für die Verarbeitung und Analyse von Datenmengen etabliert. Sie ermöglichen es, große und komplexe Datensätze effizient zu verarbeiten und daraus wertvolle Erkenntnisse zu gewinnen.

Cloud-basierte Datenintegration: Die Integration von Daten in der Cloud bietet Flexibilität und Skalierbarkeit. Cloud-basierte Integrationsplattformen bzw. iPaaS (Integration Platform as a Service) bieten Werkzeuge und Dienste, um Datenintegration über verschiedene Cloud- und On-Premises-Systeme hinweg zu erleichtern.

Real-Time Data Integration: In der heutigen schnelllebigen Geschäftswelt ist die Fähigkeit, Daten in Echtzeit zu integrieren und zu analysieren, unerlässlich. Real-Time Data Integration ermöglicht sofortige Einblicke und schnellere Entscheidungsfindung.

Vorteile der Datenintegration für Unternehmen

1. Data Integration als Wettbewerbsvorteil

Gut sortierte, fehlerfreie Informationen zur richtigen Zeit verschaffen einen erheblichen Marktvorteil gegenüber Mitbewerbern, selbst für kleine Unternehmen. Sauber integrierte Daten entscheiden sowohl im Einkauf als auch im Verkauf über optimale Konditionen und befähigen zu fundierter Analyse und Planung. So kann ein gut geführtes CRM-System die Bereitstellung von Informationen zur Region des Kunden wie spezielle Konsumgewohnheiten, kulturspezifische Eigenarten, besondere gesetzliche Vorgaben und vieles mehr leisten.

2. Mehrwert durch Anbindung von Drittsystemen

Nicht zu unterschätzen sind der Mehrwert durch flexible, offene und zugleich sicherere Schnittstellen, die in eine auf Datenintegration optimierte Systemlandschaft integriert werden können. Die unkomplizierte Anbindung an Fremdsysteme spart generell Zeit und Kosten. In vielen Fällen ist das Bedienen von Standards, beispielsweise aus dem EDI-Umfeld – also Electronic Data Interchange oder Elektronischer Datenaustausch zwischen Unternehmen – sogar Bedingung, um überhaupt mit anderen Unternehmen kooperieren und deren Anforderungen an Integration erfüllen zu können.

3. Effiziente Kommunikation mit Behörden

Auch der Umgang mit Ämtern und anderen öffentlichen Stellen profitiert von nahtlosen Kommunikationswegen, zum Beispiel im Rahmen von eGovernment-Lösungen oder PEPPOL, dem elektronisch unterstützten, öffentlichen Vergabeverfahren innerhalb der Europäischen Union. Aber auch in anderer Hinsicht bringt Data Integration viele Compliance-Vorteile mit sich. So können neue gesetzliche Regelungen automatisch bezogen werden, buchhalterische Prozesse optimiert und Datensätze durch direkte Übertragungswege schneller und fristgerecht eingereicht werden – beispielsweise über ELSTER, zur Abwicklung von Steuererklärungen und -anmeldungen über das Internet.

Herausforderungen bei der Integration von Unternehmensdaten

Management großer Datenmengen

Damit Unternehmen ihre digitale Transformation vorantreiben und Geschäftsprozesse wie Produktplanung, Lagerhaltung oder Reaktionszeit auf Kundenanfragen optimieren können, werden eine Vielzahl von Informationen benötigt. Das erfordert, dass große Datenmengen kostengünstig verfügbar sind, analysegerichtet gefiltert werden und transparent vorliegen. Bei der Verwaltung allgemeiner Geschäftsprozesse – zum Beispiel – hilft nahtlose Datenintegration, das unternehmenseigene ERP-System (Enterprise Resource Planning) mit spezifischen Daten anzureichern oder erste Schritte in Richtung Business Analytics zu gehen.

Wahl des passenden Tools für Datenintegration

Anbieter stellen eine Fülle an Solutions und Services bereit, die in Echtzeit oder zu vorab definierten Intervallen abgerufen werden können. Aus der Cloud oder On-Premises. Und diese Vielfalt ist gut! Aber welche Datenintegrationstools machen für die konkrete Problemstellung eines Unternehmens Sinn? Hier fehlt es Organisationen mitunter an Support, um ihre Anforderungen exakt zu definieren und die am besten geeignete Software auszuwählen.

Derartige Dienste stellen zudem einen dauerhaften Kostenfaktor dar, und natürlich müssen auch sie erst in die eigene Systemwelt integriert werden. Entsprechend sollte ein Provider gewählt werden, der flexible Lizenzmodelle, kompakte Mitarbeiter-Schulungen und kurze Implementierungsfristen anbietet.

Umgang mit Legacy Systemen

Neben dem Aufwand für die Beschaffung und Automation ist im Rahmen anstehender Datenintegration zu berücksichtigen, dass – ebenso wie alle anderen Ressourcen – die vorhandene Infrastruktur mit dem zusätzlichen Daten-Volumen nicht überlastet werden darf.

• Muss das Datenmanagement anders ausgerichtet werden, damit für neue Daten ausreichend Platz verfügbar ist?
• Wie kann die Datenqualität beibehalten bzw. optimiert werden? Welche Maßnahmen sind zu berücksichtigen, damit der Zugriff weiterhin performant bleibt?
• Können bestehende Systeme um Schnittstellen und gegebenenfalls Funktionen erweitert, kann also eine Integration von alt und neu bewerkstelligt werden?

Diese Fragen gilt es zu klären, da Datenintegration Datenzuwachs bedeutet, und die Einbindung von Legacy-Strukturen den positiven Effekt natürlich nicht aushebeln darf.

Keine Integration ohne strukturiertes Vorgehen

Datenintegration ohne vorherige Analyse kann in Unternehmen dazu führen, dass digitale Transformation und Automatisierung nicht die gewünschten Ziele erreichen und die Lösungen hinter dem eigentlichen Potenzial zurückbleiben. Um Frustration bei der Implementierung sowohl auf Management- als auch auf Mitarbeiter-Ebene zu vermeiden, empfiehlt sich die Erstellung eines genauen Plans, in dem der Status quo erhoben, finanzielle und personelle Ressourcen definiert und die exakten Ziele beschrieben werden.

Datenintegrationslösungen und -tools

Bei einer Datenintegrationslösung handelt es sich um sog. Middleware, also eine Software, die als eine Art Dolmetscher zwischen Betriebssystemen, Anwendungen und Datenbanken sitzt, alle Elemente der IT-Umgebung nahtlos verbindet und ihnen ermöglicht, Daten auszutauschen und miteinander zu kommunizieren. Je nach den spezifischen IT-Anforderungen können auch mehrere Lösungen kombiniert werden, die verschiedene Bereiche abdecken und sich in ihrer Funktionalität gegenseitig ergänzen od.

Um eine passende Datenintegrationssoftware auswählen zu können, müssen zuerst einige Fragen über die Art der Software, den geplanten Einsatzbereich sowie über den Funktionsumfang beantwortet werden.

Welche Middleware-Lösung wird benötigt?

• IPaaS: Eine Integration Platform as a Service (IPaaS) ist eine Datenintegrationslösung, die als Software as a Service bereitgestellt wird, d.h. eine ganzheitliche Datenintegrationsplattform, die als Cloud-Lösung bereitgestellt und auf den Servern des Anbieters betrieben wird.
• On-Premises-Lösung: Anders als eine IPaaS-Lösung wird eine On-Premises-Lösung lokal, sprich auf den Servern des jeweiligen Unternehmens installiert und betrieben.

Um welche Art der Datenintegration handelt es sich?

• Cloud Integration: Die Integration von Cloud-basierten Diensten und Anwendungen, um Daten und Prozesse über verschiedene Cloud-Plattformen hinweg zu konsolidieren und zu verwalten.
• Mobile Data Integration: Die Synchronisation und Verwaltung von Daten, die von mobilen Geräten und Anwendungen generiert werden, mit zentralen Unternehmenssystemen, um eine nahtlose Datenkonsistenz und Zugänglichkeit zu gewährleisten.
• Big Data Integration: Die Konsolidierung und Verarbeitung von riesigen und komplexen Daten aus verschiedenen Quellen wie z.B. IoT-Integraionen, um sie für Analyse und Geschäftsentscheidungen nutzbar zu machen.
• Real-time Data Integration: Die kontinuierliche Integration von Daten in Echtzeit, was Echtzeit-Analysen und schnellere Reaktionen ermöglicht.

Welche Funktionen soll die Software beinhalten?

• ETL (Extract, Transform, Load)
• API Management
• Workflow-Automatisierung
• Datenreplikation und -synchronisation
• Datentransformation
• Datenvirtualisierung
• Datenvisualisierung
• Datenföderation
• Datenbereinigung
• Stammdatenmanagement
• Datenqualitätsmanagement
• Compliance- und Datensicherheitsmanagement
• …

Lobster_data: Die No-Code Datenintegrationsplattform

Im Bereich Datenintegration stellt Lobster zwei leistungsstarke Software-Produkte zur Verfügung: Lobster_data und Lobster_pro.

Lobster_data ist ein hoch spezialisiertes Datenintegrationstool. Mit über 13.000 Vorlagen zu Schnittstellen aller Art, die intuitiv an jede Spezifikation angepasst werden können, fungiert Lobster_data als performante No-Code iPaaS zwischen internen und externen Systemen. Daten können von beliebigen Plattformen in unterschiedlichen Formaten abgeholt, konvertiert und bereitgestellt werden. Ein komfortables Mapping ermöglicht die benutzerfreundliche Übertragung der Quellstruktur zum Zielsystem per Drag-and-drop. Zusätzlich stehen Benutzern 450 Funktionen zur weiteren Datenaufbereitung zur Verfügung.

Lobster_pro baut auf der Technik von Lobster_data auf und enthält umfangreiche Funktionen zur Datenintegration in bestehende Geschäftsprozesse. Mit Lobster_pro können Workflows erstellt, Daten über frei gestaltbare Benutzermasken visualisiert und bearbeitet sowie als Report oder Chart-Grafik ausgegeben werden. Natürlich verfügt Lobster_pro auch über die Möglichkeit der eigenen Datenhaltung, was manuelle Anpassungen bestehender Systeme überflüssig macht.

Häufig werden Daten aber auch innerhalb eines Unternehmens überführt, wenn heterogene Systeme oder unterschiedliche Fachbereiche Informationen aus anderen Unternehmensbereichen benötigen. Hier unterstützen EAI-Funktionen (Enterprise Application Integration) unternehmensinterne Optimierungen der Geschäftsprozesse.

Die meisten Daten fallen allerdings im Bereich Business Intelligence (BI) an, also für Analyse, Auswertung und Reporting. Im Rahmen von BI werden verfügbare Daten teils über lange Zeiträume hinweg gesammelt, sodass ganze Datenbanken entstehen und nach spezifischen Kennzahlen verdichtet werden. Ein fehlerfreier, flexibler Prozess innerhalb der Datenintegration ist hier ETL (Extract, Transform, Load), die Basistechnologie zur Beladung von Data Warehouses und damit die Grundlage für valide und aussagekräftige Analysen und datenbasierte Business-Entscheidungen.