Uitlegbaarheid belangrijk fundament voor de verantwoorde inzet van AI

Er zijn diverse voorbeelden waarbij AI niet verantwoord werd ingezet. Denk aan de toeslagenaffaire en het Systeem Risico Indicatie (SyRI). SyRI is een systeem waarmee de overheid persoonsgegevens kan koppelen en analyseren om fraude op te sporen. Dit systeem is echter niet transparant en inzichtelijk en kan leiden tot fouten. Mede door deze voorbeelden zijn we ons steeds meer bewust dat we AI verantwoord moeten inzetten. Ook de komende EU AI Verordening zorgt voor dat groeiende bewustzijn. 

Eén van de belangrijke pijlers van het verantwoord inzetten van AI is uitlegbaarheid van AI. Uitlegbaarheid wil zeggen dat de werking en uitkomsten van een AI-systeem kunnen worden verklaard en uitgelegd aan belanghebbenden zoals burgers, consumenten, toezichthouders en professionals in organisaties. “Uitlegbare AI is om twee redenen noodzakelijk: Ten eerste om mensen die met de uitkomsten van AI systemen te maken hebben uitleg te kunnen geven hoe een uitkomst tot stand gekomen is. Ten tweede omdat explainable AI een soort van fundament is voor het verantwoord toepassen van AI: als een AI systeem niet uitlegbaar is kun je bijvoorbeeld ook niet aantonen of er wel of niet gediscrimineerd is en of er wel of niet ongewenste profilering heeft plaatsgevonden”, aldus onderzoeker Martin van den Berg.

Maar hoe implementeer je uitlegbare AI? Neem bijvoorbeeld de toeslagenaffaire waarbij het per gedupeerde 400 uren kostte om een passende uitleg te geven. Dat impliceert dat er vooraf niet nagedacht is over de uitlegbaarheid van de toeslagensystemen. Het uitlegbaar maken van AI-systemen vereist dat die systemen daarop ingericht worden. Voor de uitlegbaarheid van AI is het belangrijkste dat dit vanaf het begin meegenomen wordt bij het ontwerpen en bouwen van AI systemen. Dat betekent dat in alle fasen van de realisatie van zo’n systeem maatregelen genomen worden om een passende uitleg te kunnen geven. We noemen dit Explainable AI by Design. "Als je uitlegbaarheid niet vanaf het begin meeneemt, loop je het risico dat je dat achteraf moet toevoegen. Dat is in de meeste gevallen complexer en duurder en kan in sommige gevallen leiden tot het compleet opnieuw moeten ontwerpen en bouwen van het AI systeem”, vertelt Van den Berg.

Hogeschool Utrecht werkte als onderzoekspartner samen in een consortium met met Floryn, Researchable en de Volksbank. “De praktijkpartners brachten hun praktijkkennis en -ervaringen in en gaven ons als HU de mogelijkheid om vier use cases te bestuderen waarin AI systemen werden gebruikt en waar uitlegbaarheid van belang was. De inzichten hieruit zijn gebruikt om een checklist te ontwikkelen van keuzes die je moet maken als je explainable AI toepast.”

De checklist zorgt ervoor dat in alle fasen van de realisatie van een AI-systeem de juiste maatregelen worden genomen om uiteindelijk belanghebbenden een passende uitleg te kunnen geven van dat systeem. De checklist is bestemd voor iedereen die een rol heeft in het realiseren van AI-systemen. De checklist is ontwikkeld voor de financiële sector maar is ook bruikbaar in andere sectoren waar de impact van AI substantieel is en vertrouwen een belangrijke rol speelt, zoals de publieke sector en de gezondheidszorg. De opgestelde checklist is beschreven in een whitepaper die hier te vinden is.

“In een vervolgproject willen we bekijken wat er moet gebeuren om een betekenisvolle uitleg te genereren en hoe je dit communiceert naar een interne gebruiker van een AI systeem, zoals een schadebehandelaar of klantacceptant. Ook willen we onderzoeken hoe je kan evalueren of die uitleg voldoet aan de wensen van die gebruiker en aan wet- en regelgeving waaronder de nieuwe EU AI Verordening die eraan komt”, aldus Van den Berg.

Meer weten over dit project? Neem contact op met Martin van den Berg martin.m.vandenberg@hu.nl