1. Drift Detectie (Drift Detection)¶

1. Doel¶

Drift (drift) is het fenomeen waarbij de kwaliteit van een AI-systeem over tijd verslechtert. Deze module beschrijft hoe wij drift detecteren, meten en hierop reageren.

2. Typen Drift¶

Data Drift¶

Wat: De input die het systeem ontvangt verandert t.o.v. de data waarop het getraind/getest is.

Voorbeelden:

• Nieuwe productcategorieën die niet in de kennisbank staan
• Veranderd taalgebruik door klanten
• Seizoensgebonden vraagpatronen

Signalen:

• Toename van "weet ik niet" antwoorden
• Vragen over onbekende onderwerpen
• Veranderende vraagverdeling

Concept Drift¶

Wat: De relatie tussen input en gewenste output verandert, ook al blijft de input vergelijkbaar.

Voorbeelden:

• Prijswijzigingen die niet in kennisbank zijn bijgewerkt
• Nieuw beleid dat andere antwoorden vereist
• Veranderende klantverwachtingen

Signalen:

• Correcte antwoorden worden als incorrect beoordeeld
• Toename van klachten ondanks gelijke testresultaten
• Gap tussen validatie en productie-feedback

Drift¶

Wat: Het model zelf verandert (bij updates door provider) of degradeert.

Voorbeelden:

• Provider update naar nieuw model
• Veranderingen in API-gedrag
• Fine-tuned model verliest kwaliteit

Signalen:

• Plotselinge verandering in outputstijl
• Veranderde latency of tokengebruik
• Regressie op eerder werkende scenario's

Aanname-drift¶

Wat: De aannames waarop het AI-systeem is gebouwd kloppen niet meer door veranderingen in de omgeving, het gebruik of de regelgeving.

Voorbeelden:

• Gebruikersvolume groeit voorbij de aangenomen capaciteit
• Datadistributie verschuift t.o.v. de oorspronkelijke aanname
• Nieuwe regelgeving (bijv. EU AI Act-handhaving) maakt de huidige aanpak non-compliant
• Kosten schalen anders dan aangenomen

Signalen:

• Discrepantie tussen aangenomen en werkelijk gebruikersprofiel
• Kostenoverschrijding zonder verandering in functionaliteit
• Compliance-bevindingen bij audits

Actie: Herbeoordeel de aannames in de Doelkaart (sectie E) bij elke kwartaalreview of na significante wijzigingen in het operationele landschap.

3. Detectiemethoden¶

Periodieke Golden Set Testing¶

Aanpak: Voer de Golden Set regelmatig uit op productie.

Wat meten we:

• Feitelijkheid (% correct)
• Relevantie (gemiddelde score)
• Weigeringsgraad (adversarial)
• Vergelijking met nulmeting

Real-time Monitoring¶

Aanpak: Monitor productie-interacties op signalen van drift.

Metrics om te monitoren:

Gebruikersfeedback Analyse¶

Aanpak: Verzamel en analyseer feedback systematisch.

Feedbackkanalen:

• Thumbs up/down in interface
• Escalaties naar menselijke medewerkers
• Klachten via andere kanalen
• Correcties door gebruikers

4. Drempelwaarden¶

Gebaseerd op Bewijsstandaarden sectie 3.2:

Significant drift treedt op als:

Alertniveaus:

5. Responsprotocol¶

Bij Geel (Verhoogde Monitoring)¶

• Verhoog meetfrequentie
• Analyseer trend (is het stabiel of verslechterend?)
• Identificeer mogelijke oorzaken
• Documenteer bevindingen

Bij Oranje (Onderzoek)¶

• Root cause analyse uitvoeren
• Bepaal type drift (data/concept/model)
• Stel mitigatieplan op
• Informeer stakeholders
• Plan correctieve actie

Bij Rood (Escalatie)¶

• Escaleer naar Tech Lead en Guardian
• Overweeg rollback of tijdelijke uitschakeling
• Activeer incidentproces
• Communiceer naar gebruikers indien relevant
• Documenteer voor lessons learned

6. Mitigatiestrategieën¶

Data Drift¶

Concept Drift¶

Drift¶

7. Nulmeting en Baseline¶

Nulmeting Vastleggen¶

Bij livegang leg je de nulmeting vast:

Baseline Updaten¶

• Na significante systeemwijzigingen
• Na uitbreiding van kennisbank
• Minimaal jaarlijks herzien

8. Monitoring Dashboard¶

Aanbevolen visualisaties:

9. Checklist Drift Monitoring¶

10. Gerelateerde Modules¶

• Bewijsstandaarden
• Beheer & Optimalisatie
• Incidentrespons
• Metrics Dashboards
• Agentic AI Engineering — Stille Degradatie
• Valkuilencatalogus

Volgende stap: Richt het monitoring-dashboard in en definieer drempelwaarden voor uw productie-omgeving → Zie ook: Metrics & Dashboards