Retrouver le data lineage dans le code
Une méthode pour passer d’un programme exécutable à une carte explicable des transformations de données.
Le problème dépasse les tables
Une vue limitée aux lectures et aux écritures manque les transformations qui se produisent entre les deux. Les expressions, les branches conditionnelles, les appels de fonctions et les structures intermédiaires participent tous au chemin d’une donnée.
Construire une représentation analysable
La première étape consiste à parser le langage puis à transformer sa syntaxe en éléments dont le rôle est explicite. Cette représentation doit conserver les détails utiles au lineage sans devenir une copie complète du langage source.
Relier les définitions et les usages
L’analyse suit les variables, champs, paramètres et résultats à travers les scopes et les appels. Un graphe permet ensuite de relier les sources, les opérations et les destinations tout en conservant la provenance de chaque relation.
Rendre le résultat vérifiable
Un lineage utile doit pouvoir expliquer pourquoi une relation existe. Les positions dans le code, les opérations traversées et les limites connues de l’analyse rendent le résultat contrôlable par un ingénieur.