Een poging van de gemeente Amsterdam om bijstandsaanvragen met kunstmatige intelligentie te beoordelen is gestrand. De pilot Slimme Check, waarin werd gewerkt aan een algoritme om bijstandsaanvragen eerlijker en efficiënter te beoordelen, werd stopgezet na kritiek en tegenvallende resultaten.
Dit blijkt uit een onderzoek van Trouw in samenwerking met Lighthouse Reports en MIT Technology Review.
Ethisch algoritme
Amsterdam startte met de ontwikkeling van het algoritme om de werkdruk rondom bijstandsaanvragen te verminderen en fraude te voorkomen. Het systeem werd getraind op vijftien kenmerken, zoals inkomen en woonsituatie, om te bepalen of een bijstandsaanvraag ‘onderzoekswaardig’ was. Er werd bewust gekozen voor een ethisch algoritme. Zo werd er niet gekeken naar gevoelige kenmerken als etniciteit, nationaliteit of geslacht.
Onbedoelde discriminatie
Ondanks de voorzorgsmaatregelen rezen er zorgen over mogelijke discriminatie door het algoritme. De Participatieraad en techniekfilosofen waarschuwden voor de impact op burgerrechten en systematische bias. Tijdens tests selecteerde het algoritme disproportioneel vaak mensen met een niet-westerse achtergrond. Hoewel dit in eerste instantie werd gecorrigeerd door de programmeurs, ontstond er tijdens de praktijkpilot alsnog een bias. Deze keer tegen vrouwen en westerlingen. Het succescriterium dat stelt dat er bij actief gebruik geen sprake moet zijn van bias in het risicomodel, werd daarom niet behaald.
Tegenvallende resultaten
Naast de bias die in het algoritme bleek te zitten, viel de effectiviteit op bepaalde vlakken ook tegen. Het algoritme bleek in de praktijk onvoorspelbaar en herkende patronen die voor mensen niet logisch waren. Bovendien was slechts de helft van de door het systeem geselecteerde aanvragen daadwerkelijk verdacht.
Grote uitdagingen
Het stopzetten van Slimme Check laat zien dat er, ondanks goede intenties en veelvuldig testen, grote uitdagingen blijven bestaan in het toepassen van AI in ethisch gevoelige domeinen. Experts benadrukken dat AI-systemen zelden perfect zijn en dat overheden kritisch moeten zijn op hun technologiekeuzes.
Geef een reactie