Agentic Data & Software Engineering

Il lineage dei dati parte dal codice che li sposta

Di Xavier Franco, CEO de Elternativa · Grupo Zemsania
· 5 min di lettura

Redatto con l’aiuto dell’IA e rivisto da Xavier Franco

Veduta aerea di un delta fluviale, con tutti i suoi bracci d’acqua che si ramificano da uno stesso alveo su pianure di sabbia.
In questo articolo

C’è una domanda che riassume il problema della governance del dato: se cambiate quella tabella, sapete quale report si rompe? Quasi mai c’è una risposta rapida. E non è per mancanza di strumenti di catalogo. È perché il lineage dei dati è stato trattato come un diagramma che qualcuno disegna, quando in realtà è scritto altrove: nel codice che sposta i dati.

Che cos’è il lineage dei dati

Il lineage dei dati è il percorso di un dato dalla sua origine fino a dove viene usato: da quale sistema esce, quali processi lo trasformano, in quali tabelle viene salvato e quali report, metriche o applicazioni lo leggono.

Serve a tre cose molto concrete:

  • Fidarsi di una cifra, perché si sa da dove viene.
  • Conoscere l’impatto di una modifica prima di farla.
  • Dimostrare all’audit o alla compliance come è stato calcolato un indicatore.

In pratica: scegliete l’indicatore più importante del vostro comitato di direzione e chiedete da quali tabelle e da quali processi proviene. Misurate quanto ci mettono a rispondere.

Dati e software non si parlano

In molte organizzazioni, il mondo del dato e quello del software vanno separati. Il team di governance mantiene un catalogo con glossario, responsabili e, a volte, lineage. Il team di sviluppo scrive i processi che spostano i dati: pipeline, trasformazioni, procedure e caricamenti.

Il problema è che il catalogo si aggiorna a mano e il codice cambia ogni settimana. Il lineage disegnato invecchia dal primo giorno. E quando ne avete più bisogno, in una migrazione o in un audit, non corrisponde più a ciò che gira.

Il lineage è scritto nel codice

La buona notizia è che il lineage non va inventato. È nel codice. Ogni trasformazione dice cosa legge e cosa scrive. Ogni report dice da quale tabella interroga. Ogni procedura dice quali colonne tocca.

Per questo il lineage affidabile nasce dalla lettura del codice, non dal chiedere alle persone. E anche dal catturarlo quando i processi vengono eseguiti: lo standard aperto OpenLineage, per esempio, definisce un modello comune di insiemi di dati, processi ed esecuzioni, ed è pensato per registrare i metadati di un processo mentre viene eseguito.

Leggere il codice e osservare l’esecuzione sono due facce della stessa cosa: il lineage nasce da ciò che accade davvero, non da ciò che qualcuno crede che accada.

In pratica: chiedete al vostro team dati se il lineage del vostro catalogo si genera da solo o si mantiene a mano. Se è a mano, chiedete quando è stato aggiornato l’ultima volta.

Il certo e il dedotto

C’è una sfumatura che mi sembra importante. Non tutto il lineage è ugualmente sicuro. Una relazione che esce direttamente dal codice è certa. Un’altra che si deduce, per esempio da un nome di colonna simile, è probabile.

Una buona mappa di lineage deve distinguere le due. E quando cliccate su una relazione, deve dirvi da quale file proviene, da quale metodo e con quale grado di fiducia. Altrimenti la mappa sembra più affidabile di quanto sia.

Che cosa si rompe se lo spostate

Dove si nota di più il valore del lineage è in una migrazione. Prima di spostare un processo, una tabella o un report, dovete sapere che cosa ne dipende. Seguendo le relazioni della mappa, vedete l’impatto prima di toccare qualsiasi cosa.

E potete restringere: partire da una schermata o da un report e vedere solo ciò che raggiunge. È la differenza tra migrare con un piano e migrare con la paura.

In pratica: prima di approvare qualsiasi modifica a una tabella condivisa, chiedete l’elenco di ciò che la legge. Se non esiste, la modifica è una scommessa.

Quando una cifra non torna

Il lineage è anche lo strumento più utile quando qualcosa va storto. Un indicatore di un report esce diverso da quello atteso e comincia la solita domanda: è il dato di origine, una trasformazione o il report stesso?

Senza lineage, la risposta è un’indagine che passa per più team. Con un lineage ricavato dal codice, è un percorso: seguite la cifra all’indietro, processo dopo processo, fino a trovare dove cambia. E quando lo trovate, sapete anche quali altri report leggono da quello stesso punto e possono essere coinvolti.

È la differenza tra dire «ci stiamo lavorando» e dire «viene da questa trasformazione e riguarda questi tre report».

In pratica: la prossima volta che una cifra non torna, misurate quanto ci mette il vostro team a trovarne l’origine. Quel tempo è ciò che il lineage vi restituisce.

Il codice nuovo, con il suo lineage dal primo giorno

Quanto detto vale per il codice che avete già. Ma c’è un’altra opportunità: il codice nuovo. Con l’IA che scrive sempre più pipeline e trasformazioni, il lineage si può generare insieme al codice, non dopo.

Se ogni processo scritto lascia il suo lineage tecnico e i suoi metadati, e questi vengono pubblicati nel vostro catalogo di governance, il catalogo smette di restare indietro. Dati e software, finalmente, si parlano.

Da dove cominciare

  1. Scegliete un indicatore critico e ricostruitene il lineage.
  2. Ricavate il lineage dal codice, non da interviste.
  3. Distinguete il certo dal dedotto.
  4. Usate la mappa prima di ogni modifica per vederne l’impatto.
  5. Fate in modo che il codice nuovo pubblichi il suo lineage nel vostro catalogo.

Come vi aiutiamo

In Agentic Data & Software Engineering orchestriamo le IA di sviluppo con la governance del dato come livello trasversale: il lineage tecnico e i metadati del codice generato vengono pubblicati nel vostro catalogo di governance, come Informatica, Collibra o Talend.

E con il modulo di migrazione di Datagentis ricaviamo la mappa del sistema che avete già: report, tabelle, metriche e schermate collegati in un unico grafo, con relazioni certe e dedotte distinte, la provenienza di ogni dato e che cosa si rompe se viene spostato.

Domande frequenti

Che cos’è il lineage dei dati?

È il percorso di un dato dalla sua origine fino a dove viene usato: quali sistemi, processi, tabelle e report attraversa.

Come si ottiene il lineage dei dati?

In modo affidabile, leggendo il codice che sposta i dati e catturando i metadati dei processi quando vengono eseguiti, invece di mantenerlo a mano.

Che cos’è OpenLineage?

Uno standard aperto per raccogliere e analizzare il lineage dei dati, con un modello comune di insiemi di dati, processi ed esecuzioni.

A cosa serve il lineage in una migrazione?

A sapere che cosa dipende da ogni tabella, processo o report e a vedere l’impatto del suo spostamento prima di farlo.

Continui a leggere