Artificial intelligence (AI) kan gemeenten helpen bij een efficiënte bedrijfsvoering en betere dienstverlening. Maar er kleven ook ethische risico’s aan. In deel 2 de gemeente Rotterdam, die opnieuw door de eigen rekenkamer op de vingers getikt is over algoritme-gebruik.
Rotterdam kreeg recent een tweede tik op de vingers van de rekenkamer. Op verzoek van de raad werd een hernieuwd onderzoek naar het gebruik van algoritmen in de gemeente uitgevoerd. Wel is de tik in Kleur Bekennen beduidend lichter dan het eerste uiterst kritische rapport uit 2021. In Gekleurde Technologie liet de rekenkamer zien hoe weinig neutraal en risicovol de algoritmen bij de gemeente zijn.
Analysetool
Zo bleek dat een analysetool van de afdeling Werk & Inkomen, dat onrechtmatige uitkeringen op moet sporen, discriminerend uit kon pakken. Het algoritme bevatte variabelen die onbedoeld selecteerden op etniciteit, wat wettelijk verboden is. Zo werden bevooroordeelde data gebruikt om het algoritme te trainen, namelijk alleen van uitkeringsontvangers die een heronderzoek ondergingen. Correcter zou zijn geweest data van alle uitkeringsontvangers te gebruiken. Het algoritme is direct buiten werking gesteld.
Algoritme-governance
Een belangrijke conclusie van het rekenkameronderzoek uit 2021 is dat ambtenaren nauwelijks beseffen dat er ethische risico’s kleven aan de inzet van algoritmen. Om dat te borgen, richtte Rotterdam een ‘governance-structuur’ in. Op alle niveaus in de organisatie passeert de vraag hoe de gemeente algoritmes toepast en welk doel ze hiermee nastreeft. De bedoeling is aan de voorkant bij de ontwikkeling van systemen af te bakenen wat wel en niet acceptabel is.
Hoog-risico
Onderdeel van de algoritme-governance is een inventarisatie van hoog-risico algoritmen. Rotterdam legde hier het eigen algoritmeregister voor aan. Medio september staan daar 8 hoog-risico algoritmen op een rij, naast 12 algoritmen uit de categorie laag-risico. Rotterdam heeft sinds vorig jaar een koppeling met het landelijke algoritmeregister, waar op dit moment zo’n 90 gemeenten algoritmen gepubliceerd hebben. De meerderheid van de gemeenten doet dat nog niet.
Kritisch
Ondanks de vorderingen blijft de rekenkamer kritisch. De algoritme-governance is op veel punten nog te vaag. Ook staan nog niet alle algoritmes in het register. Het hernieuwde onderzoek identificeerde meer dan 60 deels zeer geavanceerde mogelijk risicovolle algoritmen.
Het belangrijkste kritiekpunt is dat ethische risico’s bij AI en algoritmen om politieke afwegingen vragen en niet op het bordje van ambtenaren moeten liggen, wat nu het geval is. ‘Deze stap is overgeslagen bij het implementeren van de governance-structuur,’ stelde rekenkamer-directeur Marjolein van Asselt tijdens de presentatie van het onderzoek in de raad. ‘De politiek moet de beleidskaders vaststellen voor de verdere ontwikkeling van AI en algoritmen, dat is niet aan ambtenaren.’
Niet alleen vormt dat een onnodig risico, betoogt Van Asselt, zoals in het verleden bij verschillende overheidsorganisaties is gebleken, denk aan de Toeslagenaffaire. Ook is onduidelijk hoe ambtenaren tot risico-inschattingen komen. ‘Het interne toezicht is zwak.’
Weinig transparant
Het college heeft ook nog geen werk gemaakt van de toezegging om inwoners en relevante doelgroepen bij de ontwikkeling van algoritmen te betrekken, wat de Autoriteit Persoonsgegevens eist. De gemeente communiceert weinig transparant richting inwoners over de algoritmen die ze inzet, aldus Van Asselt. ‘De politiek moet kleur bekennen,’ verwijst ze naar de titel van het rekenkameronderzoek.
Plan van aanpak
De Rotterdamse gemeenteraad drong bij verantwoordelijk wethouder Maarten Struijvenberg aan op een plan van aanpak voor het algoritmebeleidskader. Hij is nu met een voorstel met uitgangspunten en randvoorwaarden gekomen. Het voorstel wordt op 24 oktober tijdens een commissievergadering in de raad besproken.
Deel 1
In Groningen oordeelde de ethische commissie Data & Technologie dat de beoogde inzet van generatieve AI door de gemeente botst met het opgestelde ethisch waardenkader. Lees het in Gemeenten worstelen met ethische risico’s AI – deel 1.
Geef een reactie