Agentic Data & Software Engineering

Data Lineage beginnt im Code, der die Daten bewegt

Von Xavier Franco, CEO de Elternativa · Grupo Zemsania
· 5 Min. Lesezeit

Mit Unterstützung von KI verfasst und von Xavier Franco geprüft

Luftaufnahme eines Flussdeltas, dessen Wasserarme sich von einem gemeinsamen Flussbett aus über sandige Ebenen verzweigen.
In diesem Artikel

Es gibt eine Frage, die das Problem der Data Governance zusammenfasst: Wenn Sie diese Tabelle ändern, wissen Sie dann, welcher Bericht kaputtgeht? Fast nie gibt es eine schnelle Antwort. Und das liegt nicht an fehlenden Katalog-Werkzeugen. Es liegt daran, dass Data Lineage wie ein Diagramm behandelt wurde, das jemand zeichnet, obwohl es in Wirklichkeit woanders geschrieben steht: im Code, der die Daten bewegt.

Was Data Lineage ist

Data Lineage ist der Weg eines Datums von seinem Ursprung bis dorthin, wo es verwendet wird: aus welchem System es stammt, welche Prozesse es transformieren, in welchen Tabellen es gespeichert wird und welche Berichte, Kennzahlen oder Anwendungen es lesen.

Es dient drei ganz konkreten Zwecken:

  • Einer Zahl vertrauen, weil Sie wissen, woher sie kommt.
  • Die Auswirkung einer Änderung kennen, bevor Sie sie vornehmen.
  • Der Revision oder der Compliance nachweisen, wie eine Kennzahl berechnet wurde.

In der Praxis: Wählen Sie die wichtigste Kennzahl Ihres Führungsgremiums und lassen Sie sich sagen, aus welchen Tabellen und aus welchen Prozessen sie stammt. Messen Sie, wie lange die Antwort dauert.

Daten und Software sprechen nicht miteinander

In vielen Organisationen laufen die Welt der Daten und die der Software getrennt. Das Governance-Team pflegt einen Katalog mit Glossar, Verantwortlichen und manchmal Lineage. Das Entwicklungsteam schreibt die Prozesse, die die Daten bewegen: Pipelines, Transformationen, Prozeduren und Ladevorgänge.

Das Problem ist, dass der Katalog von Hand aktualisiert wird und sich der Code jede Woche ändert. Eine gezeichnete Lineage veraltet vom ersten Tag an. Und wenn Sie sie am dringendsten brauchen, bei einer Migration oder einer Revision, entspricht sie nicht mehr dem, was läuft.

Die Lineage steht im Code

Die gute Nachricht ist, dass man die Lineage nicht erfinden muss. Sie steht im Code. Jede Transformation sagt, was sie liest und was sie schreibt. Jeder Bericht sagt, welche Tabelle er abfragt. Jede Prozedur sagt, welche Spalten sie berührt.

Deshalb entsteht zuverlässige Lineage durch das Lesen des Codes, nicht durch Nachfragen bei Personen. Und auch dadurch, dass man sie erfasst, wenn die Prozesse laufen: Der offene Standard OpenLineage definiert zum Beispiel ein gemeinsames Modell aus Datensätzen, Prozessen und Ausführungen und ist dafür gedacht, die Metadaten eines Prozesses zu erfassen, während er läuft.

Den Code zu lesen und die Ausführung zu beobachten sind zwei Seiten derselben Sache: Die Lineage ergibt sich aus dem, was tatsächlich passiert, nicht aus dem, was jemand glaubt, dass passiert.

In der Praxis: Fragen Sie Ihr Datenteam, ob die Lineage Ihres Katalogs automatisch erzeugt oder von Hand gepflegt wird. Wenn von Hand, fragen Sie, wann sie zuletzt aktualisiert wurde.

Das Sichere und das Abgeleitete

Es gibt eine Nuance, die ich für wichtig halte. Nicht jede Lineage ist gleich sicher. Eine Beziehung, die direkt aus dem Code hervorgeht, ist sicher. Eine andere, die abgeleitet wird, zum Beispiel aus einem ähnlichen Spaltennamen, ist wahrscheinlich.

Eine gute Lineage-Karte muss beide unterscheiden. Und wenn Sie auf eine Beziehung klicken, muss sie Ihnen sagen, aus welcher Datei sie stammt, aus welcher Methode und mit welcher Zuverlässigkeit. Sonst wirkt die Karte verlässlicher, als sie ist.

Was kaputtgeht, wenn Sie es verschieben

Den Wert der Lineage merkt man am meisten bei einer Migration. Bevor Sie einen Prozess, eine Tabelle oder einen Bericht verschieben, müssen Sie wissen, was davon abhängt. Wenn Sie den Beziehungen auf der Karte folgen, sehen Sie die Auswirkung, bevor Sie irgendetwas anfassen.

Und Sie können eingrenzen: von einem Bildschirm oder einem Bericht ausgehen und nur sehen, was er erreicht. Das ist der Unterschied zwischen einer Migration mit Plan und einer Migration mit Angst.

In der Praxis: Bevor Sie eine Änderung an einer gemeinsam genutzten Tabelle genehmigen, verlangen Sie die Liste dessen, was sie liest. Wenn es sie nicht gibt, ist die Änderung eine Wette.

Wenn eine Zahl nicht stimmt

Lineage ist auch das nützlichste Werkzeug, wenn etwas schiefgeht. Eine Kennzahl in einem Bericht weicht vom Erwarteten ab, und die übliche Frage beginnt: Liegt es an den Quelldaten, an einer Transformation oder am Bericht selbst?

Ohne Lineage ist die Antwort eine Untersuchung, die durch mehrere Teams geht. Mit aus dem Code gewonnener Lineage ist es ein Rundgang: Sie verfolgen die Zahl rückwärts, Prozess für Prozess, bis Sie finden, wo sie sich ändert. Und wenn Sie es finden, wissen Sie auch, welche anderen Berichte von genau diesem Punkt lesen und betroffen sein können.

Das ist der Unterschied zwischen «Wir schauen es uns an» und «Sie stammt aus dieser Transformation und betrifft diese drei Berichte».

In der Praxis: Wenn das nächste Mal eine Zahl nicht stimmt, messen Sie, wie lange Ihr Team braucht, um den Ursprung zu finden. Diese Zeit gibt Ihnen die Lineage zurück.

Neuer Code, mit seiner Lineage vom ersten Tag an

Das Obige gilt für den Code, den Sie bereits haben. Aber es gibt noch eine andere Chance: den neuen Code. Da KI immer mehr Pipelines und Transformationen schreibt, kann die Lineage gleichzeitig mit dem Code erzeugt werden, nicht erst danach.

Wenn jeder geschriebene Prozess seine technische Lineage und seine Metadaten hinterlässt und diese in Ihrem Governance-Katalog veröffentlicht werden, hinkt der Katalog nicht mehr hinterher. Daten und Software sprechen endlich miteinander.

Wo Sie anfangen

  1. Wählen Sie eine kritische Kennzahl und rekonstruieren Sie ihre Lineage.
  2. Gewinnen Sie die Lineage aus dem Code, nicht aus Interviews.
  3. Unterscheiden Sie das Sichere vom Abgeleiteten.
  4. Nutzen Sie die Karte vor jeder Änderung, um die Auswirkung zu sehen.
  5. Sorgen Sie dafür, dass neuer Code seine Lineage veröffentlicht, und zwar in Ihrem Katalog.

Wie wir Ihnen helfen

Bei Agentic Data & Software Engineering orchestrieren wir die Entwicklungs-KI mit Data Governance als übergreifender Schicht: Die technische Lineage und die Metadaten des erzeugten Codes werden in Ihrem Governance-Katalog veröffentlicht, etwa Informatica, Collibra oder Talend.

Und mit dem Migrationsmodul von Datagentis gewinnen wir die Karte des Systems, das Sie bereits haben: Berichte, Tabellen, Kennzahlen und Bildschirme in einem einzigen Graphen verbunden, mit unterschiedenen sicheren und abgeleiteten Beziehungen, der Herkunft jedes Datums und dem, was kaputtgeht, wenn es verschoben wird.

Wissen Sie, welcher Bericht kaputtgeht, wenn Sie diese Tabelle ändern?

In einer Demo zeigen wir Ihnen, wie die Karte aus Tabellen, Berichten und Kennzahlen aus dem Code gewonnen wird und wie Sie die Auswirkung einer Änderung sehen, bevor Sie sie vornehmen.

Häufige Fragen

Was ist Data Lineage?

Es ist der Weg eines Datums von seinem Ursprung bis dorthin, wo es verwendet wird: welche Systeme, Prozesse, Tabellen und Berichte es durchläuft.

Wie erhält man Data Lineage?

Zuverlässig, indem man den Code liest, der die Daten bewegt, und die Metadaten der Prozesse erfasst, wenn sie laufen, statt sie von Hand zu pflegen.

Was ist OpenLineage?

Ein offener Standard zum Sammeln und Analysieren von Data Lineage, mit einem gemeinsamen Modell aus Datensätzen, Prozessen und Ausführungen.

Wozu dient Lineage bei einer Migration?

Um zu wissen, was von jeder Tabelle, jedem Prozess oder jedem Bericht abhängt, und die Auswirkung einer Verschiebung zu sehen, bevor man sie vornimmt.

Weiterlesen