Hoe diep zit discriminatie in de algoritmes van de overheid?
Na de toeslagenaffaire zal niemand meer beweren dat er bij overheidsinstellingen niet gelet wordt op etnische achtergrond bij een verdenking van fraude. Maar in hoeverre zit deze discriminatie op basis van ras en etniciteit ingebouwd in de datasystemen en algoritmes van de overheid? Onderzoeker Gerwin van Schie (Media en Performance Studies) is te gast bij NPO Radio 1 om over dit onderwerp te praten.
Dataficatie van ras en etniciteit
Van Schie doet onderzoek naar de manier waarop de Nederlandse overheid informatie verzamelt over migratieachtergrond en hoe die gegevens vervolgens ter beschikking worden gesteld: "Die verzamelingen data worden eigenlijk gecombineerd in de algoritmes van de overheid en etniciteit reist als het ware van centrale administraties naar specifieke toepassingen." Vaak wordt er gezegd dat deze verzamel-tactiek kans geeft op discriminatie. Van Schie vindt dat een eufemisme: "Op het moment dat je gaat rekenen met migratieachtergrond, dan vind je dat dus een belangrijke factor en dan ben je eigenlijk in het algoritme al bepaalde normen aan het vaststellen", licht hij toe.
Ongelijkheid
Het vaststellen van die normen schept ongelijkheid volgens van Schie: "Wat je zegt eigenlijk is dat mensen die van die norm afwijken verdachter zijn dan mensen die dat niet doen." Ras en etniciteit zijn hier een voorbeeld van, maar er zijn nog meer vooroordelen in de algoritmes van de overheid. Het populaire idee is dat ze waardevolle voorspellingen kunnen doen, maar van Schie zet hier de nodige vraagtekens bij. "Het woord voorspellingen wordt in de mediawetenschap tegenwoordig wat honend gebruikt want we vinden het meer voorspelbare algoritmes dan voorspellende algoritmes. Hiermee bedoelen we dat ze eigenlijk hele klassieke vormen van discriminatie en stigmatisering gewoon reproduceren."