Data Governance¶

1. Datakwaliteit Raamwerk¶

Datakwaliteit wordt gemeten langs zes dimensies. Definieer per dimensie concrete drempelwaarden die passen bij het risiconiveau van het project.

2. Data Lineage & Provenance¶

Wat is data lineage?¶

Data lineage is de volledige beschrijving van de herkomst, transformaties en bewegingen van data — van bron tot model-input en uiteindelijk model-output.

Waarom is het belangrijk?¶

• Traceerbaarheid: Bij onverwachte modelresultaten kun je snel achterhalen welke data de oorzaak is.
• Debugging: Identificeer exact waar in de pipeline een datafout is geintroduceerd.
• Compliance: De EU AI Act vereist voor hoog-risico systemen dat de herkomst van trainingsdata aantoonbaar is.
• Reproduceerbaarheid: Zonder lineage kun je experimenten niet betrouwbaar herhalen.

Hoe implementeren?¶

Minimale vereisten:

• Elke dataset heeft een unieke identifier en versienummer
• Transformatiestappen zijn vastgelegd met input-versie, output-versie en timestamp
• Metadata tags bevatten: bron, eigenaar, verwerkingsdatum, kwaliteitsscore

Tooling opties:

Minimale vereisten per risiconiveau:

3. Data Contracts¶

Wat zijn data contracts?¶

Een data contract is een formele afspraak tussen een data producer (het team dat data levert) en een data consumer (het team dat data gebruikt). Het voorkomt dat wijzigingen in upstream data onverwacht je AI-pipeline breken.

Componenten van een data contract¶

Voorbeeld contract template¶

# Data Contract — [Dataset Naam]
contract_versie: "1.0"
producer:
  team: "Team Klantenservice"
  contactpersoon: "naam@organisatie.nl"
consumer:
  team: "Team ML Platform"
  contactpersoon: "naam@organisatie.nl"
dataset:
  naam: "klant_interacties"
  formaat: "parquet"
  locatie: "s3://data-lake/klant_interacties/"
schema:
  - veld: "klant_id"
    type: "INT"
    nullable: false
  - veld: "interactie_datum"
    type: "DATE"
    nullable: false
  - veld: "kanaal"
    type: "VARCHAR(50)"
    nullable: false
    toegestane_waarden: ["email", "telefoon", "chat", "portal"]
sla:
  verversing: "dagelijks vóór 06:00 UTC"
  beschikbaarheid: "99.5%"
kwaliteitsregels:
  volledigheid: "≥ 98%"
  uniciteit_op: "klant_id + interactie_datum"
wijzigingsbeleid: "Breaking changes: minimaal 2 sprints vooraankondiging via RFC"

4. Data Versioning¶

Waarom?¶

Zonder dataversioning kun je niet garanderen dat een modeltraining reproduceerbaar is. Als de trainingsdata verandert zonder versieregistratie, is debugging en auditing onmogelijk.

Aanpak¶

Minimale vereisten:

• Elke trainingsdataset heeft een uniek versienummer of hash
• De relatie model-versie ↔ data-versie is vastgelegd in het model registry
• Vorige versies zijn opvraagbaar voor debugging en auditing
• Wijzigingen in datasets worden gelogd (wat veranderde, wanneer, door wie)

5. Metadata Management¶

Goede metadata maakt data vindbaar, begrijpelijk en herbruikbaar.

Minimale metadata per dataset¶

Data catalogus¶

Tooling opties: DataHub, Amundsen, Apache Atlas, Collibra, of een eenvoudige interne wiki.

6. Praktische Checklist per Fase¶

Fase 1 — Verkenning¶

• Data bronnen geïnventariseerd en gedocumenteerd
• Eerste kwaliteitsmeting uitgevoerd (steekproef op de zes dimensies)
• Data-eigenaarschap vastgesteld per bron
• Privacy-classificatie toegekend (bevat de data PII?)
• Eerste data lineage geschetst (bron → verwerking → gebruik)

Fase 2 — Validatie¶

• Data contracts opgesteld met alle relevante producers
• Geautomatiseerde kwaliteitscontroles ingericht in de pipeline
• Data versioning opgezet voor trainingssets
• Metadata ingevuld in de data catalogus
• Kwaliteitsdrempels gedefinieerd en afgestemd met het team

Fase 3 — Realisatie¶

• Data contracts actief gehandhaafd (monitoring op schendingen)
• Volledige lineage tracking operationeel
• Kwaliteitsrapporten geautomatiseerd en zichtbaar in dashboards
• Data versioning geïntegreerd met model registry
• Metadata up-to-date en doorzoekbaar

Fase 4+ — Monitoring & Doorlopend¶

• Continue datakwaliteitsmonitoring actief
• Drift detectie op inputdata (niet alleen modeloutput)
• Periodieke review van data contracts (minimaal per kwartaal)
• Data catalogus bijgewerkt bij nieuwe of gewijzigde datasets
• Audit trail beschikbaar voor compliance-reviews

7. Gerelateerde Modules¶

• Data Pipelines — technische standaarden voor data-ingestie, transformatie en validatie
• Data-Evaluatie (Fase 1) — eerste datakwaliteitsbeoordeling in de Verkenningsfase
• Drift Detectie — detectie van verschuivingen in data en modelgedrag
• Data & Privacyblad — privacy-aspecten van dataverwerking
• Bewijsstandaarden — logging en auditability