Agentic Data & Software Engineering

El llinatge de dades comença en el codi que les mou

Per Xavier Franco, CEO de Elternativa · Grupo Zemsania
· 5 min de lectura

Redactat amb ajuda d’IA i revisat per Xavier Franco

Vista aèria d’un delta fluvial, amb tots els seus braços d’aigua ramificant-se des d’un mateix llit sobre planes de sorra.
En aquest article

Hi ha una pregunta que resumeix el problema del govern de la dada: si canvies aquesta taula, saps quin informe es trenca? Gairebé mai hi ha una resposta ràpida. I no és per manca d’eines de catàleg. És perquè el llinatge de dades s’ha tractat com un diagrama que algú dibuixa, quan en realitat està escrit en un altre lloc: en el codi que mou les dades.

Què és el llinatge de dades

El llinatge de dades és el recorregut d’una dada des del seu origen fins on s’utilitza: de quin sistema surt, quins processos la transformen, en quines taules es guarda i quins informes, mètriques o aplicacions la llegeixen.

Serveix per a tres coses molt concretes:

  • Confiar en una xifra, perquè saps d’on surt.
  • Saber l’impacte d’un canvi abans de fer-lo.
  • Demostrar a auditoria o a compliment com s’ha calculat un indicador.

A la pràctica: tria l’indicador més important del teu comitè de direcció i demana que et diguin de quines taules i de quins processos surt. Mesura quant triguen a respondre.

La dada i el programari no es parlen

En moltes organitzacions, el món de la dada i el del programari van per separat. L’equip de govern manté un catàleg amb glossari, propietaris i, de vegades, llinatge. L’equip de desenvolupament escriu els processos que mouen les dades: pipelines, transformacions, procediments i càrregues.

El problema és que el catàleg s’actualitza a mà i el codi canvia cada setmana. El llinatge dibuixat envelleix des del primer dia. I quan més el necessites, en una migració o en una auditoria, ja no es correspon amb el que corre.

El llinatge està escrit en el codi

La bona notícia és que el llinatge no s’ha d’inventar. És en el codi. Cada transformació diu què llegeix i què escriu. Cada informe diu de quina taula consulta. Cada procediment diu quines columnes toca.

Per això el llinatge fiable surt de llegir el codi, no de preguntar a les persones. I també de capturar-lo quan els processos s’executen: l’estàndard obert OpenLineage, per exemple, defineix un model comú de conjunts de dades, processos i execucions, i està pensat per registrar les metadades d’un procés mentre s’executa.

Llegir el codi i observar l’execució són dues cares del mateix: el llinatge surt del que de debò passa, no del que algú creu que passa.

A la pràctica: pregunta al teu equip de dades si el llinatge del teu catàleg es genera sol o es manté a mà. Si és a mà, pregunta quan es va actualitzar per última vegada.

El cert i el deduït

Hi ha un matís que em sembla important. No tot el llinatge és igual de segur. Una relació que surt directament del codi és certa. Una altra que es dedueix, per exemple per un nom de columna semblant, és probable.

Un bon mapa de llinatge ha de distingir les dues. I quan cliques una relació, t’ha de dir de quin fitxer surt, de quin mètode i amb quina confiança. Si no, el mapa sembla més fiable del que és.

Què es trenca si ho mous

On més es nota el valor del llinatge és en una migració. Abans de moure un procés, una taula o un informe, necessites saber què en depèn. Seguint les relacions del mapa, veus l’impacte abans de tocar res.

I pots retallar: partir d’una pantalla o d’un informe i veure només el que abasta. És la diferència entre migrar amb un pla i migrar amb por.

A la pràctica: abans d’aprovar qualsevol canvi en una taula compartida, demana la llista del que la llegeix. Si no existeix, el canvi és una aposta.

Quan una xifra no quadra

El llinatge també és l’eina més útil quan alguna cosa falla. Un indicador d’un informe surt diferent de l’esperat i comença la pregunta de sempre: és la dada d’origen, una transformació o el mateix informe?

Sense llinatge, la resposta és una investigació que passa per diversos equips. Amb llinatge tret del codi, és un recorregut: segueixes la xifra cap enrere, procés a procés, fins a trobar on canvia. I quan el trobes, saps també quins altres informes llegeixen d’aquest mateix punt i poden estar afectats.

És la diferència entre dir «ho estem mirant» i dir «surt d’aquesta transformació, i afecta aquests tres informes».

A la pràctica: la propera vegada que una xifra no quadri, mesura quant triga el teu equip a trobar-ne l’origen. Aquest temps és el que el llinatge et retorna.

El codi nou, amb el seu llinatge des del primer dia

Això val per al codi que ja tens. Però hi ha una altra oportunitat: el codi nou. Amb la IA escrivint cada cop més pipelines i transformacions, el llinatge es pot generar alhora que el codi, no després.

Si cada procés que s’escriu deixa el seu llinatge tècnic i la seva metadata, i es publiquen al teu catàleg de govern, el catàleg deixa d’anar per darrere. La dada i el programari, per fi, es parlen.

Per on començar

  1. Tria un indicador crític i reconstrueix-ne el llinatge.
  2. Treu el llinatge del codi, no d’entrevistes.
  3. Distingeix el cert del deduït.
  4. Fes servir el mapa abans de cada canvi per veure’n l’impacte.
  5. Fes que el codi nou publiqui el seu llinatge al teu catàleg.

Com t’ajudem

A Agentic Data & Software Engineering orquestrem les IA de desenvolupament amb el govern de la dada com a capa transversal: el llinatge tècnic i la metadata del codi generat es publiquen al teu catàleg de govern, com Informatica, Collibra o Talend.

I amb el mòdul de migració de Datagentis traiem el mapa del sistema que ja tens: informes, taules, mètriques i pantalles connectats en un sol graf, amb relacions certes i deduïdes distingides, la procedència de cada dada i què es trenca si es mou.

Preguntes freqüents

Què és el llinatge de dades?

És el recorregut d’una dada des del seu origen fins on s’utilitza: quins sistemes, processos, taules i informes travessa.

Com s’obté el llinatge de dades?

De manera fiable, llegint el codi que mou les dades i capturant les metadades dels processos quan s’executen, en lloc de mantenir-lo a mà.

Què és OpenLineage?

Un estàndard obert per recollir i analitzar llinatge de dades, amb un model comú de conjunts de dades, processos i execucions.

Per a què serveix el llinatge en una migració?

Per saber què depèn de cada taula, procés o informe i veure l’impacte de moure’l abans de fer-ho.

Continua llegint