Leitfaden für ein agiles Data Warehouse mit Data Vault 2.0

In der Welt des Handels ist der Suezkanal eine entscheidende Wasserstraße, die als Flaschenhals fungieren kann, wenn Schiffe den Kanal blockieren. Solche Verzögerungen wirken sich negativ auf weltweite Lieferketten und den Handel aus. 

Ein ähnlicher Effekt tritt auf, wenn ein Data-Warehouse-System unflexibel und starr aufgebaut wird. Ohne eine skalierbare und agile Architektur entstehen "Datenstau" und ineffiziente Prozesse, die den Datenfluss behindern. Data Vault 2.0 bietet eine Lösung für dieses Problem, indem es ein flexibles und skalierbares Framework bereitstellt, das den Herausforderungen moderner Datenlandschaften gerecht wird.

In diesem Blogbeitrag beleuchten wir die grundlegenden Prinzipien und Elemente von Data Vault 2.0 und veranschaulichen diese anhand eines Praxisbeispiels.

Data Vault 2.0 besteht aus drei Hauptkomponenten: Hubs, Links und Satellites. 

Jede dieser Komponenten erfüllt eine spezifische Funktion innerhalb des Datenmodells.

Hubs
Hubs repräsentieren die zentralen Geschäftskonzepte, wie Kunden oder Artikel. Sie enthalten eine eindeutige Geschäftsschlüssel (Business Key) und werden genutzt, um Daten zu identifizieren.
Beispiel: Ein Hub "Kunde" könnte Kundennummern als Schlüssel enthalten.

Links
Links modellieren die Beziehungen zwischen den Hubs. Sie repräsentieren Verknüpfungen, die zwischen verschiedenen Geschäftseinheiten stattfinden.
Beispiel: Ein Link könnte darstellen, welche Kunden welche Artikel gekauft haben.

Satellites
Satellites enthalten die Kontextdaten, also alle Attribute und historisierten Informationen zu den Hubs oder Links. Hier werden beispielsweise Namen, Adressen oder Änderungen an den Daten gespeichert.
Beispiel: Ein Satellite zu einem Hub "Kunde" könnte den Namen, die Adresse und das Geburtsdatum enthalten.

Ein innovativer Einzelhändler, der hochwertige Produkte für seine Kunden anbietet, hat sich für die Einführung von Data Vault 2.0 entschieden, um seine Datenlandschaft zu optimieren. Im ersten Schritt sollen alle relevanten Daten zu Aufträgen und Kunden im Data Warehouse erfasst werden.

Im ersten Schritt wurde das Datenmodell über nachfolgende Abbildung visualisiert.

Demnach soll es die Hubs Customer und Order geben. Diese sind verbunden mit dem Link Customer_Order. In zusätzlichen Satelliten sollen die Kunden- und Bestellinformationen gespeichert werden.


Doch was heißt das jetzt konkret in der Datenbank?

Der Tabellenaufbau und die Erfassung in Data Vault 2.0 folgen immer den oben genannten Prinzipen. Demnach folgt der Aufbau der Hubs, Links und Satelliten nach denselben Vorgaben.

Jeder Hub erhält einen künstlich erzeugten Hash-Key, der als künstlicher Schlüssel fungiert. Daneben gibt es die fachlichen Schlüssel, die aus den Quellsystemen stammen sowie einen Zeitstempel (LDTS) und die Quellsystembezeichnung (RSCR).

Definition der Links
Der Link verbindet die beiden Hubs HUB_CUSTOMER und HUB_ORDER und ermöglicht damit die Abbildung einer m:n-Beziehung.

Jeder Link enthält ebenfalls ein künstlich erzeugten HASH-Key sowie die Fremdschlüssel auf die verknüpfen Hubs. Ebenfalls wird ein Zeitstempel und die Datenquelle erfasst.

Sollte ein neuer Hub, beispielsweise für Artikel, ergänzt werden, wird ein zusätzlicher Link aufgebaut, der alle drei Hubs miteinander verbindet. Dabei bleibt der bestehende Link erhalten, um die Nachvollziehbarkeit und Historisierung der Daten sicherzustellen.

Der Satellit enthält den Fremdschlüssel auf den jeweiligen Hub und ein Zeitstempel, zu dem der Datensatz erstmalig im Data Warehouse erschien. Beide Spalten ergeben den eindeutigen Schlüssel.

Die Satelliten in Data Vault 2.0 ermöglichen die Umsetzung von Slowly-Change-Dimensions. Demnach lässt sich auch die Historisierung je Geschäftskonzept auswählen.

Die Trennung von Geschäftsschlüssel (Hub) und Geschäftsattribut (Sat) ermöglicht eine nachträgliche Erweiterung von Geschäftsinformationen auf Basis bestehender Hub-Schlüssel. Es werden neue Satelliten ergänzt, anstatt bestehende Satelliten zu löschen oder anzupassen.

In unserem Beispiel werden der Kundenname (CUSTNAME) und das Segment (CUSTSEGM) im Satelliten erfasst.

Im Satelliten an dem Link wird der Gesamtumsatz (TOTALSALES) gespeichert.

Zusätzlich zu den oben genannten Tabellen gibt es weitere Tabellen, die erforderlich sind, um die zu Beginn dargestellten Anforderungen vollständig abzudecken. Die vollständige Tabellenstruktur sieht im ersten Schritt wie folgt aus:

Im Data Vault 2.0 gibt es auch die sogenannten Referenztabellen (kurz REF). Eine Referenztabelle könnte alle gültigen Länder- oder Währungsangaben enthalten, die dann von Hubs wie HUB_CUSTOMER oder HUB_ORDER genutzt werden. Dadurch müssen diese Werte nicht in jedem Hub oder Satellite mehrfach gespeichert werden.

Dieses Beispiel verdeutlicht, wie Data Vault 2.0 eine flexible und skalierbare Grundlage bietet. Zudem wird ersichtlich, dass der Modellierungsansatz zu einer zunehmenden Anzahl an Tabellen führt. Um die Effizienz bei der Entwicklung zu maximieren, empfehlen wir den Einsatz von DWH-Builder, um den Automatisierungsgrad zu erhöhen. Erst die Kombination von Data Vault 2.0 mit einer Automatisierung entfaltet das volle Potenzial bei der Entwicklung von agilen DWH-Systemen.

Wie wird aus diesem Datenmodell mit Hubs, Links und Satelliten, das häufig als „Core“ bezeichnet wird, das weit verbreitete Sternschema mit Dimensionen und Fakten? Diese Frage beantworten wir im zweiten Teil des Themenblocks „Agiles Data Warehouse“.

Und wer noch mehr wissen möchte zu dem Thema, kann sich gerne unsere Podcast-Folge zum Thema "Agiles Data Warehouse" anhören.