Vooruitgang, voorzichtigheid en verzet

23 juni 2021 by Maarten Verkerk (organisatiedeskundige), Maaike Harmsen (Theoloog en promovenda)

Foto: Folkert Rinkema

De ontwikkelingen op het gebied van kunstmatige intelligentie en machine learning gaan bijzonder snel. De kernvraag is: leidt het gebruik van dit soort technologieën door overheden en bedrijven tot meer welzijn voor individuele burgers en tot bloei van de samenleving als geheel? Het zou wel eens kunnen zijn dat de grootste uitdaging voor de politiek ligt op het gebied van de menselijke maat: transparante en betrouwbare toepassingen die recht doen aan de kwetsbare positie van de burger. In dit artikel presenteren we een kader van waaruit we naar toepassingen en ontwikkelingen kunnen kijken. De kernvraag is: leidt het gebruik van dit soort technologieën door overheden en bedrijven tot meer welzijn voor individuele burgers en tot bloei van de samenleving?

Big data en algoritmen | Een van de deelgebieden van kunstmatige intelligentie en machine learning betreft het analyseren van grote hoeveelheden data – ook wel ‘big data’ genoemd – met behulp van bepaalde beslisformules – algoritmen genoemd. Dit deelgebied is veelbelovend omdat het combineren van data uit verschillende bestanden kan leiden tot verrassende inzichten. Een voorbeeld is het gebruik van big data in de gezondheidszorg. Het gebruik van data uit verschillende bestanden heeft geleid tot inzichten in de relaties tussen onder andere sociaaleconomische status, levensstijl, ziekte en gezondheid. In dit soort onderzoeken zijn groepen en groepskenmerken van groot belang.

Overheden en bedrijven kunnen big data-toepassingen ook gaan gebruiken om het gedrag van burgers te voorspellen en om beslissingen over hen te nemen. In dat geval bepalen algoritmes hoe overheden hun burgers en bedrijven hun klanten behandelen. Besluiten worden dan genomen door systemen en niet meer door mensen. In dit artikel concentreren we ons op de rol van de politiek met betrekking tot het gebruik van big data en algoritmen door de overheid. Vergelijkbare overwegingen gelden natuurlijk voor het gebruik van dit soort technieken door bedrijven.

In 2017 waarschuwde het Rathenau Instituut in zijn rapport Opwaarderen. Borgen van publieke waarden in de digitale samenleving voor het gebruik van algoritmische systemen door de overheid.1 Volgens dat rapport kunnen publieke waarden en mensenrechten onder druk komen te staan, zoals privacy, gelijke behandeling, autonomie en menselijke waardigheid. Ook de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) waarschuwde voor de risico’s en gevaren van big data. In het rapport Big Data in een vrije en veilige samenleving (2016) waarschuwt de WRR voor het gevaar van grootschalige inmenging in de persoonlijke levenssfeer van burgers.2 Ook schreef men dat het verkeerd gebruik van data kan leiden tot discriminatie en oneerlijke behandeling van bepaalde groepen in de maatschappij, met als gevolg dat de ongelijkheid tussen groepen in de samenleving groter wordt.

Kansenvoor iedereen? | Het wetenschappelijk bureau van D66 heeft recent de het boekje Algoritmes en lokale overheden. Kansen voor iedereen? uitgebracht. Het geeft een mooie en evenwichtige inleiding over het gebruik van algoritmes door lokale overheden.

Achtereenvolgens wordt het hoe en wat van algoritmes besproken, het gebruik daarvan door lokale overheden geïllustreerd, en vanuit een sociaalliberaal perspectief geëvalueerd waarbij de nadruk ligt op gelijkheid, vrijheid en rechtsstatelijkheid. De publicatie sluit af met een lijst van concrete vragen die raadsleden aan lokale bestuurders kunnen stellen.

Deze publicatie laat zien hoe algoritmes zowel kunnen bijdragen aan de ontwikkeling van de samenleving, als kunnen leiden tot flagrant onrecht waardoor de tegenstellingen in de samenleving groter worden. Wat dat betreft: dit boekje is een must voor elke politicus en bestuurder. Terecht wijst de auteur erop dat de rechtsstaat in het geding is.

Het probleem van profielen | In de kern is een algoritme niets meer dan een serie opdrachten die stapsgewijs worden uitgevoerd om een probleem op te lossen. Bij eenvoudige algoritmes kan een buitenstaander precies zien welke data er gebruikt worden en op welke manier die data gebruikt worden om tot een bepaalde conclusie te komen. Maar bij complexe zelflerende algoritmes (kunstmatige intelligentie) is dat niet meer het geval, omdat het systeem in de loop van de tijd ‘leert’ hoe en welke gegevens met elkaar in verband worden gebracht. Hoe ingewikkelder het algoritme, des te lastiger het is om te begrijpen op basis van welke gegevens het algoritme tot bepaalde uitkomsten komt. Het zelflerende algoritme levert wel een uitkomst, maar geeft geen inzicht in de berekening daarvan.

Algoritmes kunnen worden gebruikt om uit data bepaalde verbanden te destilleren. Ze kunnen ook veel persoonlijker gebruikt worden: om profielen van burgers op te stellen aan de hand van kenmerken als geslacht, afkomst, sociaal-economische status, uitkeringsprofiel et cetera. Het opstellen van dit soort profielen – profiling genoemd – kan gemakkelijk leiden tot oneerlijke behandeling van bepaalde groepen. Een ‘mooi’ voorbeeld is de Allegheny Family Screening Tool die in de VS wordt gebruikt om voorspellingen te doen over kindermishandeling. Dit systeem gebruikt met name de data van gezinnen die overheidshulp ontvangen. Het gevolg is dat er voorspellingen gedaan worden over kindermishandeling in de gezinnen van economisch zwakkere Amerikanen. De economisch sterke Amerikanen blijven zo uit zicht, terwijl het niet vanzelfsprekend is dat in hun gezinnen géén kindermishandeling plaatsvindt. Dit systeem behandelt burgers met een uitkering anders dan burgers zonder een uitkering. In feite is er dus sprake van discriminatie.

Hiermee stuiten we op een belangrijke karakteristiek van algoritmen: ze creëren een eigen werkelijkheid. Deze werkelijkheid kan een vertekend beeld van de samenleving zijn, met als gevolg dat onrecht en discriminatie op de loer liggen.

Casus: SyRI systeem | In 2014 werd het Systeem Risico Indicatie (SyRI) door de Nederlandse overheid in bedrijf genomen. SyRI is een risicomodel dat bestaat uit bepaalde indicatoren en dat onder andere aangeeft of er sprake is van een verhoogd risico op het onrechtmatig gebruik van sociale voorzieningen en inkomensafhankelijke regelingen. SyRI omvat de technische infrastructuur en procedures om in een beveiligde omgeving data te koppelen en te analyseren om daarmee risicomeldingen te genereren. Een risicomelding betekent dat een bepaalde burger een hogere kans wordt toegedicht op frauduleus handelen met betrekking tot sociale voorzieningen en inkomensafhankelijke regelingen.

Het gebruik van SyRI zou moeten leiden tot meer efficiëntie op gebied van controle. Dit systeem maakt gebruik van verschillende bronbestanden en combineert gegevens op het gebied van werk en inkomen, belastingen, schulden, inburgering, uitkeringen, enzovoorts. In 2018 spande een groep privacy-voorvechters een rechtszaak aan tegen de staat. In februari 2020 oordeelde de rechter dat SyRI in strijd was met het Europees Verdrag voor de Rechten van de Mens. Het zou de privacy schenden en onvoldoende inzichtelijk en controleerbaar zijn, waardoor het mogelijk discriminerende en stigmatiserende effecten zou hebben.

SyRI is een voorbeeld van een systeem waarin naar alle waarschijnlijk sprake was van poverty profiling. De bias in het systeem leidde met name tot het contro- leren van mensen met een lagere sociaal economische status en een immigratie-achtergrond. Het feit dat de rechtsstaat in het geding kan komen, bleek uit het feit dat tijdens de gerechtelijke procedure het Ministerie van Sociale Zaken en Werkgelegenheid weigerde om het algoritme en de risico-indicatoren vrij te geven. Hierdoor had de rechter vrijwel geen inzicht in de werking van het systeem, waardoor de rechtspraak bemoeilijkt werd. Ook heeft dit een negatief effect op de controlerende functie van het parlement.

Drie beoordelingsmotieven | Hoe kom je tot een evenwichtige beoordeling van nieuwe technologieën? Hoe voorkom je dat je je laat leiden door ongefundeerd optimisme of dat je zicht belemmerd wordt door angst? In het boek Morgen wordt alles beter (2020) reiken Jochemsen en Verkerk drie motieven aan om een nieuwe technologie te beoordelen: vooruitgang, voorzichtigheid en verzet. Dit boek heeft gentech als onderwerp, maar dezelfde motieven zijn goed bruikbaar in de omgang met kunstmatige intelligentie en zelflerende algoritmes.

Vooruitgang | Het eerste motief is vooruitgang. De gedachte achter dit motief is dat de toepassing van nieuwe technologieën kan bijdragen aan het be- ter vervullen van ons rentmeesterschap

In termen van de beginselverklaring van de ChristenUnie: technologische toepassingen kunnen dienstbaar zijn aan de samenleving. De belangrijkste waarden bij dit motief zijn dat individuele burgers tot hun recht komen en dat de samen- leving als geheel gaat bloeien. Vooruitgang is dus niet hetzelfde als innovatie maar moet getoetst worden aan een richting: de bloei van de samenleving.

Het behoeft nauwelijks toelichting dat algoritmen en big data – mits juist gebruikt – daaraan kunnen bijdragen. Het vinden van allerlei relaties tus- sen data daagt overheden uit om de mechanismen achter die relaties te onderzoeken en zo te kunnen komen tot beleid dat gericht is op het welzijn van individuele burgers en op de bloei van de samenleving als geheel. Vanuit het perspectief van de voortuitgang kan de oorspronkelijke doelstelling van SyRI positief beoordeeld worden. Immers het efficiënt opsporen van fraude draagt bij aan het welzijn van de burger die hulp nodig heeft en bevordert de bloei van de samenleving, omdat alleen die burgers steun krijgen die het echt nodig hebben.

Voorzichtigheid | Het tweede motief is voorzichtigheid. Bij de ontwikkeling van dit soort technologieën en dit soort toepassingen moeten we voorzichtig zijn. De reden is dat als algoritmes verkeerd ontwikkeld zijn of verkeerd gebruikt worden, ze onrecht doen aan burgers, ze diep kunnen ingrijpen in het leven van burgers, en ze de afstand tussen burger en overheid vergroten. Hier is de tweede kernwaarde van de ChristenUnie in het geding: de vrijheid van burgers. Het motief van de voorzichtigheid daagt de politiek uit om door te vragen bij dit soort technologieën. Het gaat om de vraag naar een verborgen bias in deze systemen. Het gaat om de vraag of algoritmes wel recht doen aan de specifieke situatie van individuele burgers. Het gaat ook om het gevaar dat het systeem in de handen van ambtenaren gewoon over burgers heen walst en dat de laatstgenoemden machteloos staan. Het motief van de voorzichtigheid nodigt de overheid uit om maatschappelijke partijen kritisch te laten mee kijken met de werking van dit soort systemen. Ook zijn dialogen nodig om uit te vinden wat bij een nieuwe technologie voorzichtigheid betekent, hoe dit soort algoritmen in de werkprocessen van de overheid passen en hoe voorkomen kan worden dat de burger het moet afleggen tegen het systeem. Als er íets is dat de toeslagenaffaire ons heeft geleerd, dan is het wel dat het motief van de voorzichtigheid niet alleen toegepast moet worden op de technische systemen, maar ook op de inbedding van die systemen in de overheidsorganisatie. Ook hebben we geleerd dat de politieke cultuur een grote rol speelt. Als de politiek uitstraalt dat ‘krachtig’ opge- treden moet worden tegen ‘frauderende’ burgers, dan verdwijnt gemakkelijk de menselijke maat uit het zicht, zeker wanneer een technische oplossing lonkt.

Verzet | Het derde en laatste motief is dat van het verzet. Verzet van politici en amb- tenaren tegen technologie die bijdraagt aan onrecht en de institutionalisering van onrecht. Hier is de derde kernwaarde van de ChristenUnie in het geding: bescherm het leven. Het gaat om de bescherming van elke burger. Het zou wel eens kunnen dat de politiek de complexiteit van dit soort systemen onvoldoende scherp op het netvlies heeft gehad, met als gevolg dat de verschillende wetten die het gebruik van SyRI een wettelijke basis hebben gegeven, onvoldoende getoetst zijn op rechtsstatelijkheid. Zeker is dat er te weinig aandacht is gegeven aan de informatieplicht van de overheid en de rechtspositie van de individuele burger. Ook moet verzet aangetekend worden tegen de ontwikkeling van een cultuur waarin het systeem voorop staat en ambtenaren en politici zich achter dat systeem verschuilen. Juridisch gezien is profiling verboden. In de Algemene Verordening Gegevensbescherming (AVG) stelt de Europese wetgever in Artikel 22 lid 1: “De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.” Vanuit de AVG gezien is de hamvraag voor de politiek hoe het mogelijk was dat SyRI toch gelanceerd werd.

Bescherming van de digitaal kwetsbaren | Het gebruik van algoritmes door de overheid (en bedrijven) kan bijdragen aan het welzijn van individuele burgers en de bloei van de samenleving als geheel. Maar dat is niet vanzelfsprekend. Dat kan alleen als de hoogste morele eisen gesteld worden aan zowel de algoritmes zelf als aan de organisatie die dat soort algoritmes gebruikt. Algoritmes zijn geen ongevaarlijke instrumenten.

Ze kunnen grote schade veroorzaken aan het vertrouwen van de burger in de overheid en andere instituten. Daarom hebben we politici nodig die zich (internationaal) inzetten voor de verdere regulering van deze toepassingen. Er moet een Europees Algoritmekeurmerk komen en gereguleerd toezicht, bijvoorbeeld een waakhond digitale veiligheid.

Ook hebben we politici nodig die werk maken van hun controlerende taak, om misstanden zoals de toeslagenaffaire te voorkomen, te doorzien en aan te kaarten. Er is behoefte aan overheden en bedrijven die transparant zijn in de algoritmes die ze laten ontwikkelen, die oog hebben voor alle burgers, jong en oud, met welke achtergrond dan ook. We hebben in dit artikel drie kernwaarden en daarmee samenhangende vragen be- schreven die beoordeling vooraf kunnen vormgeven. Is er sprake van vooruitgang (in de juiste richting)? Is het een voorzichtige toepassing met oog voor bias, onrecht en andere problematische aspecten? En is er ruimte voor verzet?

Prof. dr. Maarten Verkerk is lid van de Eerste Kamer voor de ChristenUnie. Hij is emeritus hoogleraar Christelijke Wijsbegeerte aan de Technische Universiteit Eindhoven en de Universiteit Maastricht.

Maaike Harmsen studeerde in 2002 af aan de Theologische Universiteit Kampen op de politieke ethiek van Stanley Hauerwas en Abraham Kuyper, en is bezig met een proefschrift over internationale bedrijfsethiek. Ze schreef eerder mee aan de ChristenUnie-uitgave Vrouwen in de Politiek (2007) en werkt aan een prekenserie over technologie en geloof.