Agentic Data & Software Engineering

Le lignage des données commence dans le code qui les déplace

Par Xavier Franco, CEO de Elternativa · Grupo Zemsania
· 6 min de lecture

Rédigé avec l’aide de l’IA et relu par Xavier Franco

Vue aérienne d’un delta fluvial, avec tous ses bras d’eau se ramifiant depuis un même lit sur des plaines de sable.
Dans cet article

Il y a une question qui résume le problème de la gouvernance des données : si vous modifiez cette table, savez-vous quel rapport va casser ? Il n’y a presque jamais de réponse rapide. Et ce n’est pas faute d’outils de catalogue. C’est parce que le lignage des données a été traité comme un schéma que quelqu’un dessine, alors qu’il est en réalité écrit ailleurs : dans le code qui déplace les données.

Qu’est-ce que le lignage des données

Le lignage des données est le parcours d’une donnée depuis son origine jusqu’à l’endroit où elle est utilisée : de quel système elle provient, quels processus la transforment, dans quelles tables elle est stockée et quels rapports, métriques ou applications la lisent.

Il sert à trois choses très concrètes :

  • Faire confiance à un chiffre, parce que vous savez d’où il vient.
  • Connaître l’impact d’un changement avant de le faire.
  • Démontrer à l’audit ou à la conformité comment un indicateur a été calculé.

En pratique : choisissez l’indicateur le plus important de votre comité de direction et demandez de quelles tables et de quels processus il provient. Mesurez le temps qu’on met à vous répondre.

Les données et le logiciel ne se parlent pas

Dans beaucoup d’organisations, le monde de la donnée et celui du logiciel vont chacun de leur côté. L’équipe de gouvernance maintient un catalogue avec glossaire, propriétaires et, parfois, lignage. L’équipe de développement écrit les processus qui déplacent les données : pipelines, transformations, procédures et chargements.

Le problème, c’est que le catalogue est mis à jour à la main et que le code change chaque semaine. Le lignage dessiné vieillit dès le premier jour. Et quand vous en avez le plus besoin, lors d’une migration ou d’un audit, il ne correspond plus à ce qui tourne.

Le lignage est écrit dans le code

La bonne nouvelle, c’est qu’il n’y a pas à inventer le lignage. Il est dans le code. Chaque transformation dit ce qu’elle lit et ce qu’elle écrit. Chaque rapport dit quelle table il interroge. Chaque procédure dit quelles colonnes elle touche.

C’est pourquoi le lignage fiable vient de la lecture du code, pas d’interrogatoires. Et aussi de sa capture lorsque les processus s’exécutent : le standard ouvert OpenLineage, par exemple, définit un modèle commun de jeux de données, de processus et d’exécutions, et est conçu pour enregistrer les métadonnées d’un processus pendant son exécution.

Lire le code et observer l’exécution sont les deux faces d’une même chose : le lignage vient de ce qui se passe réellement, pas de ce que quelqu’un croit qu’il se passe.

En pratique : demandez à votre équipe data si le lignage de votre catalogue se génère tout seul ou s’il est maintenu à la main. Si c’est à la main, demandez quand il a été mis à jour pour la dernière fois.

Le certain et le déduit

Il y a une nuance qui me semble importante. Tout le lignage n’est pas aussi sûr. Une relation qui sort directement du code est certaine. Une autre, déduite par exemple d’un nom de colonne similaire, est probable.

Une bonne cartographie du lignage doit distinguer les deux. Et quand vous cliquez sur une relation, elle doit vous dire de quel fichier elle provient, de quelle méthode et avec quel niveau de confiance. Sinon, la carte paraît plus fiable qu’elle ne l’est.

Ce qui casse si vous le déplacez

C’est lors d’une migration que la valeur du lignage se voit le plus. Avant de déplacer un processus, une table ou un rapport, vous devez savoir ce qui en dépend. En suivant les relations de la carte, vous voyez l’impact avant de toucher à quoi que ce soit.

Et vous pouvez restreindre : partir d’un écran ou d’un rapport et ne voir que ce qu’il atteint. C’est la différence entre migrer avec un plan et migrer avec la peur au ventre.

En pratique : avant d’approuver toute modification d’une table partagée, demandez la liste de ce qui la lit. Si elle n’existe pas, le changement est un pari.

Quand un chiffre ne colle pas

Le lignage est aussi l’outil le plus utile quand quelque chose ne va pas. Un indicateur d’un rapport sort différent de ce qui était attendu et la question habituelle commence : est-ce la donnée source, une transformation ou le rapport lui-même ?

Sans lignage, la réponse est une enquête qui passe par plusieurs équipes. Avec un lignage extrait du code, c’est un parcours : vous remontez le chiffre, processus après processus, jusqu’à trouver où il change. Et quand vous le trouvez, vous savez aussi quels autres rapports lisent depuis ce même point et peuvent être touchés.

C’est la différence entre dire « nous regardons » et dire « il vient de cette transformation, et il touche ces trois rapports ».

En pratique : la prochaine fois qu’un chiffre ne colle pas, mesurez le temps que met votre équipe à en trouver l’origine. Ce temps, c’est ce que le lignage vous rend.

Le code nouveau, avec son lignage dès le premier jour

Tout cela vaut pour le code que vous avez déjà. Mais il y a une autre opportunité : le code nouveau. Avec l’IA qui écrit de plus en plus de pipelines et de transformations, le lignage peut être généré en même temps que le code, pas après.

Si chaque processus écrit laisse son lignage technique et ses métadonnées, et qu’ils sont publiés dans votre catalogue de gouvernance, le catalogue cesse d’être à la traîne. La donnée et le logiciel, enfin, se parlent.

Par où commencer

  1. Choisissez un indicateur critique et reconstituez son lignage.
  2. Extrayez le lignage du code, pas d’entretiens.
  3. Distinguez le certain du déduit.
  4. Utilisez la carte avant chaque changement pour en voir l’impact.
  5. Faites en sorte que le code nouveau publie son lignage dans votre catalogue.

Comment nous vous aidons

Chez Agentic Data & Software Engineering, nous orchestrons les IA de développement avec la gouvernance des données comme couche transversale : le lignage technique et les métadonnées du code généré sont publiés dans votre catalogue de gouvernance, comme Informatica, Collibra ou Talend.

Et avec le module de migration de Datagentis, nous extrayons la carte du système que vous avez déjà : rapports, tables, métriques et écrans connectés en un seul graphe, avec des relations certaines et déduites distinguées, la provenance de chaque donnée et ce qui casse si on la déplace.

Questions fréquentes

Qu’est-ce que le lignage des données ?

C’est le parcours d’une donnée depuis son origine jusqu’à son lieu d’utilisation : les systèmes, processus, tables et rapports qu’elle traverse.

Comment obtient-on le lignage des données ?

De façon fiable, en lisant le code qui déplace les données et en capturant les métadonnées des processus lorsqu’ils s’exécutent, plutôt qu’en le maintenant à la main.

Qu’est-ce qu’OpenLineage ?

Un standard ouvert pour collecter et analyser le lignage des données, avec un modèle commun de jeux de données, de processus et d’exécutions.

À quoi sert le lignage dans une migration ?

À savoir ce qui dépend de chaque table, processus ou rapport et à voir l’impact de son déplacement avant de le faire.

Continuer la lecture