Waarom de mens in de lus houden geen overdreven voorzichtigheid is, maar een voorwaarde voor succes

Bij artificiële intelligentie in een bedrijf wordt menselijke validatie soms gezien als een tijdelijke stap, in afwachting van een systeem dat zelfstandig betrouwbaar genoeg wordt. Die kijk is te eenvoudig. Voor taken die gevolgen kunnen hebben voor de organisatie, is het voorzien van iemand die resultaten kan controleren, corrigeren of de verwerking kan overnemen geen tijdelijke maatregel, maar een onderdeel van het ontwerp van het systeem.

Waarom menselijk toezicht nodig blijft

Een taalmodel kan zowel een correct als een fout antwoord produceren, met een vergelijkbare schijn van zekerheid. Zonder controlemechanisme kan een fout daardoor onopgemerkt blijven tot ze een concreet probleem veroorzaakt: een verkeerde bestelling, een onaangepast antwoord aan een klant of foutieve informatie in een rapport.

Ook documenten en reële situaties veranderen. Een nieuw type dossier, een leverancier die zijn factuurformaat wijzigt of een uitzondering die nog nooit eerder is voorgekomen, kan buiten de gebruikelijke situaties van het systeem vallen. Iemand die het resultaat controleert, kan dat opmerken en beslissen om het geval anders te behandelen.

Menselijk toezicht helpt het systeem bovendien om in de tijd te verbeteren. Elke correctie levert informatie op over wat moet worden aangepast: een verkeerd begrepen regel, een niet-voorzien geval, dubbelzinnige informatie of een beperking van het systeem. Die feedback maakt het mogelijk om regels, data of de werking van de oplossing geleidelijk te verbeteren.

Wat de mens in de lus houden concreet betekent

Het niveau van validatie moet afhangen van wat het systeem mag doen. Voor een taak zonder belangrijke gevolgen kan een systematische controle onnodig zijn. Voor een actie die de organisatie bindt, belangrijke gegevens wijzigt of tot een gevoelige beslissing leidt, moet iemand het resultaat kunnen controleren voordat de actie wordt uitgevoerd.

Het principe is eenvoudig: het systeem bereidt voor of doet een voorstel, terwijl de persoon de mogelijkheid behoudt om te beslissen en de controle over te nemen wanneer dat nodig is.

Het voorgestelde resultaat moet bovendien voldoende duidelijk zijn om snel te kunnen worden gecontroleerd. Waar relevant moet de persoon de gebruikte broninformatie kunnen terugvinden en kunnen begrijpen waarop het voorstel gebaseerd is, in plaats van alleen een conclusie te krijgen die niet controleerbaar is.

De rol van de persoon kan in de tijd veranderen. In het begin kan die persoon een groot deel van de resultaten uitgebreid controleren. Nadat het systeem op voldoende gevallen is getest, kan de aandacht verschuiven naar ongebruikelijke, onzekere of gevoelige situaties, terwijl de mogelijkheid om bij elk geval in te grijpen behouden blijft.

Wat deze aanpak voorkomt

Ze voorkomt in de eerste plaats dat volledige automatisering te vroeg wordt ingevoerd. Een systeem kan goed presteren op courante gevallen en toch problemen hebben met bepaalde zeldzame situaties. Door validatie te voorzien, kunnen de gevolgen van zulke fouten worden beperkt terwijl de oplossing nog wordt getest en verfijnd.

Ze voorkomt ook dat AI een zwarte doos wordt die teams moeten aanvaarden zonder haar te kunnen controleren. Wie zijn rol in het proces begrijpt, weet wanneer een resultaat gecontroleerd moet worden, wanneer het moet worden gecorrigeerd en wanneer de verwerking manueel moet worden overgenomen.

Ten slotte maakt deze aanpak een belangrijk onderscheid: vertrouwen in een systeem is niet hetzelfde als het systeem de controle geven. Een systeem kan betrouwbaar genoeg zijn om veel tijd te besparen zonder dat het gemachtigd is om alle beslissingen zelfstandig te nemen.

Samengevat

De mens in de lus houden is niet noodzakelijk een tijdelijk compromis in afwachting van volledige automatisering. Voor taken die risico's inhouden of de organisatie kunnen binden, is het een manier om het systeem te ontwerpen met een aangepast niveau van controle. AI kan een steeds groter deel van het werk uitvoeren, terwijl een persoon de mogelijkheid behoudt om te controleren, te corrigeren en de controle over te nemen wanneer de situatie dat vereist.