La fiabilité dès la conception
Un pipeline doit donner deux fois le même résultat, et échouer clairement quand il ne le peut pas.
En pratiqueRechargements idempotents, contrôles bloquants avant toute écriture, sorties jamais écrasées.
Ingénierie
Ingénierie
Les méthodes, standards et modèles d'architecture sur lesquels je m'appuie, illustrés par des systèmes que j'ai réellement construits.
§ 01
Expertise, de bout en bout.
Ce dont je prends la responsabilité, de l'extraction source jusqu'à la décision.
-
01
Pipelines de données et ETL
Pipelines en couches (bronze, silver, gold) avec contrat d'entrée, quarantaine, rechargements idempotents, journal d'exécution et barrières qualité.
- Python
- pandas
- Jupyter
- Power Query
- Talend
-
02
Entrepôts et modélisation
Modélisation dimensionnelle de Kimball : étoiles strictes, dimensions conformes, dimensions d'audit, relations à sens unique.
- SQL Server
- T-SQL
- MySQL
- Oracle SQL
-
03
Qualité et traçabilité des données
Catalogues de règles versionnés, traçabilité jusqu'à la ligne source, certificats d'intégrité vérifiables par un tiers.
- Rule catalogue
- SHA-256
- Merkle trees (RFC 6962)
-
04
Couche sémantique et BI
Modèles sémantiques Power BI : seuils centralisés, règles de comparabilité explicites, traçabilité par extraction et rapports imprimables.
- Power BI
- DAX
- TMDL / PBIR
- Power BI Service
-
05
Métadonnées et gouvernance
Documentation DDI produite depuis un référentiel unique, publication dans NADA avec accès par rôle aux fichiers réservés.
- DDI 2.5
- Dublin Core
- World Bank Metadata Editor
- NADA
-
06
Analytique appliquée
Score de risque explicable, tests forensiques et détection d'atypies non supervisée, évalués sur des critères fixés à l'avance.
- scikit-learn
- Keras
- NumPy
- SciPy
§ 02
Principes
Les règles que j'applique à chaque système, et ce que chacune donne en pratique.
La qualité des données, exigence de premier rang
Les règles de qualité sont du code : nommées, versionnées, testées et publiées, pas cachées dans un filtre de tableau de bord.
En pratiqueUn catalogue de 35 règles, une quarantaine des lignes rejetées, un rapport qualité par exécution.
Sécurité et gouvernance
La confidentialité se décide par champ et par public, avant toute publication.
En pratiqueChamps nominatifs exclus des sorties publiques, accès par rôle, mises à niveau répétées et réversibles.
Maintenabilité
Une seule source de vérité par décision : un changement se fait à un endroit et se propage.
En pratiqueRéférentiels tenus par l'ETL, seuils regroupés dans un seul dossier du modèle, modifications scriptées et rejouables.
Observabilité
Chaque chiffre d'un tableau de bord doit ramener à l'exécution, au fichier et à la ligne qui l'ont produit.
En pratiqueIdentifiants d'exécution, empreintes de ligne, fiche de traçabilité jusqu'à la ligne du tableur source.
Alignement métier
Les indicateurs suivent la réglementation et les questions des utilisateurs, et disent clairement quand les données sont trop minces pour conclure.
En pratiqueRègles rattachées au Code des marchés publics, seuils de volume minimal avant toute comparaison annuelle.
§ 03
Architecture de référence
Le modèle en couches de ma plateforme principale. Chaque couche a une seule responsabilité et une seule manière d'être contrôlée.
Les couches et leurs contrôles
Chaque couche est contrôlée avant l'écriture de la suivante. La traçabilité repose sur une empreinte de ligne, l'intégrité sur un certificat de Merkle.
-
01 · Sources
- Extractions et fichiersContrat d'entrée
-
02 · Ingestion
- BronzeImmuable, archive par empreinte
-
03 · Validation
- Catalogue de règlesQuarantaine, barrières qualité
-
04 · Transformation
- SilverConforme, empreinte de ligne
-
05 · Stockage
- Étoile goldDimension d'audit, journal
-
06 · Couche sémantique
- Modèle et métadonnéesMesures, DDI
-
07 · Décision
- Rapports et catalogueTraçables à la ligne
§ 04
Standards et référentiels
- Kimball lifecycleConduite du projet et conception de l'entrepôt
- CRISP-DMTravaux analytiques et d'apprentissage automatique
- DDI 2.5 · Dublin CoreMétadonnées statistiques
- RFC 6962Preuves d'intégrité par arbre de Merkle
- DAMA-DMBOKVocabulaire de gestion des données
- WCAG 2.2Rapports et interfaces accessibles