Het Algoritmekader van de overheid is voor veel organisaties te complex en wordt in de praktijk nauwelijks gebruikt. Ook zijn registraties in het Algoritmeregister vaak onvolledig. Dat blijkt uit twee onderzoeken van de Auditdienst Rijk (ADR) bij rijksorganisaties. De lessen zijn ook relevant voor gemeenten, die met hetzelfde kader en register werken.
De ADR voerde de onderzoeken uit in opdracht van de CIO Rijk van het ministerie van BZK. Digitale Overheid publiceerde beide rapporten op 23 oktober. Het kader is nadrukkelijk bedoeld voor zowel het Rijk als medeoverheden.
Kader onbekend en te omvangrijk
Voor de evaluatie van het Algoritmekader onderzocht de ADR acht rijksorganisaties, waaronder de Belastingdienst, het UWV en de Raad voor de Kinderbescherming. Bij zes van hen was het kader vooraf grotendeels onbekend. Medewerkers die algoritmes ontwikkelen en beheren, vinden het te complex en weinig toegankelijk. Daardoor bestaat het kader vooral ‘op papier’.
Ook blijkt het lastig om aan te tonen dat het algoritmebeheer op orde is. Slechts drie van de acht organisaties konden grotendeels onderbouwen dat hun algoritme voldoet aan de AVG. Maar bij twee algoritmes waren er meetbare indicatoren die aansluiten op het doel. Daarnaast is het kader sterk gericht op AI, en minder op andere algoritmes zoals geautomatiseerde risicoselectie.
Registraties vaak onvolledig
Het tweede onderzoek bekeek 37 registraties van tien rijksorganisaties in het Algoritmeregister. Administratieve velden zijn bijna altijd goed ingevuld, maar inhoudelijke velden wijken meestal af van de Publicatiestandaard. Bij ‘Afwegingen’ staan vrijwel alleen voordelen, zonder nadelen. Het veld voor impacttoetsen is in twee derde van de gevallen leeg. En een derde van de registraties is voor buitenstaanders niet te volgen.
Les voor gemeenten: let op ingekochte algoritmes
Eén bevinding is extra relevant voor gemeenten, die vaak software van leveranciers gebruiken. Vijf van de tien organisaties hebben geen proces om ingekochte algoritmes te registreren, en twee noemen dit een blinde vlek. Ook is niet altijd duidelijk wie een algoritme moet registreren: de ontwikkelaar of de gebruiker. De ADR adviseert BZK om hierover duidelijke richtlijnen te geven.
Het onderzoek bevat ook een bruikbaar voorbeeld. Eén organisatie legt verantwoordelijkheden per algoritme vast, en niet alleen op organisatieniveau. Dat is intensiever, maar brengt sturing en verantwoording dichter bij de uitvoering.
Zo wil BZK het kader verbeteren
Om het kader bruikbaarder te maken, stelt de ADR een beslisboom voor. Daarmee zien organisaties direct welke eisen gelden voor hun type algoritme en voor de fase waarin het zich bevindt. Ook moet het kader beter aansluiten op de BIO2.0, de DPIA en de AI-verordening, zodat organisaties geen dubbel werk doen. Voor het register pleit de ADR voor actieve ondersteuning, een woordenlijst met uitleg van jargon en technische hulpmiddelen bij het invullen.
BZK gaat met de aanbevelingen aan de slag. Het Algoritmekader wordt auditeerbaar en krijgt een formele status via de Nederlandse Digitaliseringsstrategie. Daarnaast kijkt het ministerie opnieuw naar definities, zoals wat precies een ‘impactvol algoritme’ is. Het technisch beheer van het register verhuist van ICTU naar Logius. Daarna kunnen technische verbeteringen, zoals de woordenlijst, worden doorgevoerd.
Geef een reactie