Wat ging er mis?

‍

1. 'Liegende' AI Agents

In meerdere scenario’s rapporteerden AI Agents dat een taak succesvol was afgerond, terwijl de daadwerkelijke systeemstatus het tegenovergestelde liet zien. Voor organisaties kan dit grote gevolgen hebben. Denk aan rapportages die gebaseerd zijn op incorrecte informatie, processen die stilvallen zonder dat iemand het merkt, of beslissingen die worden genomen op basis van verkeerde aannames.

‍

2. Ongeautoriseerde opdrachten

AI Agents accepteerden opdrachten van personen die niet de eigenaar van een taak waren. Zolang een verzoek er plausibel uitzag, werd het uitgevoerd. Dit laat zien dat veel huidige agent-architecturen onvoldoende rekening houden met autorisatie, hiërarchie en eigenaarschap.

‍

3. Datalekken en destructieve acties

In sommige tests lekten AI Agents gevoelige informatie, waaronder persoonlijke data zoals het BSN-nummer en medische gegevens. In andere gevallen voerden ze zelfs destructieve acties uit op systeemniveau, zoals het verwijderen van onderdelen van infrastructuur. Wanneer AI Agents directe toegang hebben tot systemen, worden deze risico’s exponentieel groter.

‍

4. Oneindige agent-loops

Een ander opvallend probleem: AI Agents die in een eindeloze interactie met andere agenten terechtkwamen. Hierdoor ontstond ongecontroleerd gebruik van systeembronnen. In een productieomgeving kan dit leiden tot storingen, prestatieproblemen of onverwachte cloudkosten.

Waar komt dit vandaan?

De kern van het probleem ligt in de manier waarop veel AI Agents vandaag worden gebouwd: voornamelijk op basis van taalmodellen.

Hoewel Large Language Models indrukwekkend zijn in het begrijpen en genereren van tekst, missen ze een aantal fundamentele eigenschappen die nodig zijn voor veilige autonome systemen.

‍

- Geen stakeholder-model‍

AI Agents begrijpen vaak niet wie daadwerkelijk bevoegd is om een opdracht te geven. Zonder expliciet model van rollen, eigenaarschap en autoriteit kan een agent moeilijk onderscheid maken tussen legitieme en ongeautoriseerde verzoeken.

‍

- Geen zelf-model

Agenten herkennen hun eigen beperkingen niet. Ze proberen taken uit te voeren buiten hun competentiegebied, zonder waarschuwing of escalatie (interne grounding).

‍

- Geen veilige redeneerruimte

Veel agent-architecturen hebben geen afgeschermde interne “deliberation space”. Hun redeneerstappen zijn daardoor vaak zichtbaar en manipuleerbaar via prompts of interacties.

‍

Waarom alleen een taalmodel niet genoeg is

Een taalmodel werkt op basis van waarschijnlijkheid: het voorspelt wat statistisch gezien het meest logische volgende woord of antwoord is. Dat maakt het krachtig voor communicatie en generatieve taken, maar minder geschikt als beslissingslaag voor kritische systemen. Daarom verschuift de aandacht in AI-architectuur steeds vaker naar neuro-symbolische systemen: een combinatie van neurale modellen (zoals LLM’s) en formele kennisstructuren.

De rol van Knowledge Graphs en ontologieën

Door AI Agents te koppelen aan een Knowledge Graph en een ontologie ontstaat een extra laag van controle en structuur.

‍

1. Expliciete logica

Waar een taalmodel werkt met waarschijnlijkheden, kan een ontologie harde regels afdwingen.

Bijvoorbeeld: een AI Agent mag nooit een server verwijderen zonder expliciete goedkeuring van een primaire stakeholder. Dit soort regels kan niet zomaar door een taalmodel worden “weggeredeneerd”.

2. Context en relaties

Knowledge Graphs leggen relaties vast tussen systemen, rollen, doelen en bevoegdheden. Daardoor kan een AI Agent elke actie toetsen aan een duidelijk kader.

Past deze opdracht binnen mijn rol?     

Komt dit verzoek van de juiste stakeholder?    

Is deze actie toegestaan binnen mijn doelstellingen?

3. Traceerbaarheid en controle

Wanneer een AI Agent een fout maakt, kun je in een Knowledge Graph precies zien welke relatie of regel verkeerd is geïnterpreteerd. Bij puur neurale modellen blijft dat vaak een black box.

Van regelgeving naar machinebegrip

Een belangrijke uitdaging voor organisaties is het vertalen van wetgeving, beleid en governance naar regels die door AI-systemen begrepen en gecontroleerd kunnen worden. Soms wordt gedacht dat organisaties de kennis missen om zulke regels om te zetten naar bijvoorbeeld een Knowledge Graph of ontologie. In de praktijk ligt dat genuanceerder. De basiskennis is vaak wel degelijk aanwezig, maar het succesvol modelleren van complexe regelgeving vraagt vrijwel altijd om samenwerking tussen meerdere disciplines. Denk aan domeinexperts, AI-specialisten en knowledge engineers die gezamenlijk bepalen hoe regels, rollen en relaties formeel worden vastgelegd. Daarom zien we dat organisaties steeds vaker investeren in Knowledge Engineering als aparte expertise. Niet alleen om kennis vast te leggen, maar ook om AI-systemen transparanter, controleerbaarder en betrouwbaarder te maken.

De volgende stap in enterprise AI

Autonome AI Agents zullen een steeds grotere rol spelen binnen organisaties. Maar veilige implementatie vraagt om meer dan alleen krachtige taalmodellen.

Het vraagt om:

• duidelijke governance
• expliciete kennisstructuren
• controleerbare besluitvorming
• en transparante AI-architecturen

Alleen dan kunnen organisaties profiteren van de kracht van autonome AI zonder de controle te verliezen.

‍

Bij y.digital geloven we dat de toekomst van AI ligt in hybride systemen waarin taalmodellen samenwerken met kennisstructuren zoals ontologieën en Knowledge Graphs. Zo combineren we de kracht van generatieve AI met de betrouwbaarheid en controle die organisaties nodig hebben.

‍

Wil je meer weten over veilige AI-architecturen of autonome AI-Agents binnen jouw organisatie? Neem dan contact op: result@y.digital

‍