AI laten controleren door AI werkt niet. Een script wel.

Wat ik bouwde

Raadzoeker maakt samenvattingen van wat de Rotterdamse gemeenteraad bespreekt. Die samenvattingen schrijft een AI, op basis van de uitgeschreven debatten. Dat is precies het werk waar AI goed in lijkt: veel tekst lezen en er iets leesbaars van maken. Het is ook werk waar fouten ernstig zijn. Een samenvatting die een raadslid iets laat zeggen wat niet is gezegd, doet schade.

Wat er misging

Mijn eerste versie liet een lichter model samenvattingen maken zonder dat het iets hoefde te bewijzen. Daarin stonden namen die uit voorbeeldbestanden waren overgenomen en partijclichés die nergens uit het debat kwamen. Bij een ander thema schreef het model uitspraken van een wethouder toe aan een fractie.

Mijn tweede idee was logisch: laat een tweede model het werk nakijken. Dat bleek niet te werken. De controleur keurde vrijwel alles goed, ook samenvattingen met deels verzonnen citaten. Een model dat de tekst plausibel vindt, vindt de controle ook plausibel.

Wat wel werkte

Elke bewering in een samenvatting moet nu vergezeld gaan van een letterlijk citaat uit de bron. Een script controleert vervolgens woord voor woord of dat citaat echt in het debat staat. Staat het er niet, dan verdwijnt de bewering uit de samenvatting. Bij uitspraken die aan een fractie worden toegeschreven, controleert het script ook of het citaat uit een fragment van die fractie komt.

Het script heeft geen mening en laat zich niet overtuigen. Daardoor is het het enige stuk in de keten dat ik echt kan vertrouwen.

Wat het niet vangt

De controle vangt verzonnen citaten. Ze vangt niet een samenvatting die een echt citaat te ruim uitlegt. Ook de automatische ondertiteling kan een verkeerde spreker noemen, en daar ziet het script niets van. Daarom staat elke samenvatting als AI gelabeld op de site en is de bron altijd één klik verder.

Wat ik hieruit meeneem

• Vraag een AI niet om een oordeel, maar om bewijs in een vorm die een machine kan toetsen, zoals een letterlijk citaat of een bronverwijzing.
• Laat een eenvoudig script dat bewijs controleren in plaats van een tweede model.
• Zeg er eerlijk bij wat er niet gecontroleerd is. Dat vergroot het vertrouwen eerder dan dat het het afbreekt.

Dit geldt ver buiten raadsdebatten. Overal waar een organisatie AI inzet om samen te vatten, te classificeren of te beantwoorden, is de vraag niet of het model goed genoeg is. De vraag is hoe je aantoont dat het resultaat klopt.