De maatschappelijke effecten van algoritmes kunnen betrouwbaar worden gemeten met econometrische evaluatiemethoden. Volgens het Centraal Planbureau (CPB) betekent een algoritme dat goede voorspellingen doet echter niet automatisch dat ook betere maatschappelijke resultaten worden bereikt. Daarom moet niet alleen naar het algoritme zelf worden gekeken, maar naar het hele proces waarin het algoritme, menselijke beslissingen en interventies samen het uiteindelijke resultaat bepalen.
Algoritmes worden door overheidsorganisaties steeds vaker gebruikt om risico’s in te schatten, dossiers te selecteren en medewerkers te ondersteunen bij beslissingen. Bij de beoordeling daarvan gaat veel aandacht uit naar juridische en ethische aspecten. Minder duidelijk is vaak of de inzet van een algoritme daadwerkelijk tot betere maatschappelijke uitkomsten leidt.
In een nieuwe handreiking laat het CPB zien hoe de effectiviteit van algoritmisch ondersteunde interventie-, inspectie- en adviesprocessen kan worden onderzocht.
Meer controles, maar ook meer bezwaren
Het CPB illustreert dit met een gemeente die een parkeercontroleauto invoerde. Daarmee konden veel meer kentekens worden gecontroleerd dan door een handhaver te voet. Er werden meer overtredingen gevonden en de kosten van controles gingen omlaag.
Toch waren de gevolgen niet uitsluitend positief. De parkeercontroleauto leidde ook tot meer bezwaarprocedures en extra administratieve lasten voor burgers. Die effecten waren vooraf niet voorzien of meegenomen. Het voorbeeld laat volgens het CPB zien waarom het belangrijk is om naar het gehele proces en de uiteindelijke maatschappelijke effecten te kijken.
Effectmeting vanaf het begin meenemen
Het CPB doet twee aanbevelingen. Ten eerste moeten organisaties effectmeting een vast onderdeel maken van algoritmisch ondersteunde processen. Daar moet al bij de inrichting rekening mee worden gehouden, bijvoorbeeld door geschikte gegevens te verzamelen en goede vergelijkingsgroepen te bepalen. Zo kunnen de voordelen en risico’s systematisch tegen elkaar worden afgewogen.
Ten tweede moet de manier waarop effectiviteit wordt gemeten aansluiten bij het doel van het proces. Alleen kijken naar de voorspelkracht van een algoritme is onvoldoende. Bij inspecties kan bijvoorbeeld worden gekeken naar de trefkans, bij interventies naar veranderingen in uitkomsten en bij adviesprocessen naar de vraag of adviezen daadwerkelijk tot betere beslissingen leiden. Er bestaat daarom geen universele evaluatiemethode.
Effectiviteit is bovendien niet het enige criterium. Volgens het CPB moeten de resultaten van effectmetingen altijd worden afgewogen tegen andere publieke waarden, waaronder transparantie, legitimiteit en eerlijkheid.
Geef een reactie