1 Is het toeval? Nee het is AI!

Als ik met mijn OV-fiets door Nijmegen naar het Grotiusgebouw fiets, krijg ik vleugels. De oudste maar zeker ook de mooiste stad van het land opent zich. Even voel ik me weer de student uit de jaren ’90, mijmerend over het aanstaande Mensafeest.  

Heb ik eenmaal groen licht te pakken en gedraag ik me als een ‘gemiddelde’ fietser, dan zijn de volgende stoplichten op de St. Annastraat ook groen.

De Nijmeegse verkeerslichtinstallaties zijn namelijk ‘slim’ en worden afgesteld op het aantal fietsers en het overige verkeer. We hebben hier te maken met technologie die ons -vrij letterlijk in dit voorbeeld- bestuurt. Niet voor niets zeggen we ook wel dat we van de Rule of Law in de Rule of Code zijn beland.  

In april 2021 werd -na een openbare consultatieronde- het Europese voorstel om Artificiële Intelligentie (AI) te reguleren bekend. In dit artikel bespreek ik dit voorstel en ga ik in op de consequenties voor het gebruik van AI door de overheid en het bestuursrecht.

 

2 Wat is AI en waarom wil de Europese Commissie dit reguleren?

De meningen over wat er onder AI kan worden verstaan, verschillen. Voor dit artikel en gezien de ruime definitie in het voorstel van de AI wet, is het voldoende om het te zien als een vorm van intelligentie waarmee machines, software en apparaten zelfstandig problemen oplossen. AI- systemen volgen algoritmen, herkennen patronen en kunnen zelf beslissingen nemen of voorstellen. Widlak suggereert overigens dat men bij sommige toepassingen beter zou kunnen spreken van alien intelligence. [1] Er is weliswaar sprake van intelligentie, maar een andere dan wij mensen hebben.    

Over de ruime definitie van AI in het voorstel voor een AI wet kan nog gezegd worden hoe grote bedrijven en lidstaten deze proberen te verenigen. Zij stellen dat softwaretoepassingen geen AI zijn en niet onder de verordening zouden moeten vallen.[2] Een opvallend standpunt want het impliceert dat deze toepassingen niet (nader) gereguleerd hoeven te worden.

Met behulp van AI kunnen processen geautomatiseerd worden en mensen of hun data in categorieën worden onderscheiden. Wilt u meer weten over AI, dan is het aan te raden gratis en online de Nationale AI cursus te volgen.[3]

AI kan overal worden ingezet; voor medische diagnoses, meten en analyseren van geluidsoverlast, voorspellen waar voortvluchtige verdachten zich ophouden, vullen van de For You pagina op TikTok, aanbevelen van series op Netflix, het detecteren van verdacht gedrag tijdens online examens of de beveiliging van je telefoon met gezichtsherkenning.

AI is zeker niet altijd een overbodige luxe. Het helpt de overheid bij de uitvoering van talloze taken zoals het voorspellen van hoog water en ontdekken en bestrijden van cyber aanvallen. De verzorgingsstaat waarbij financiële middelen worden herverdeeld door enerzijds belastingen en premies te innen en anderzijds uit te geven als uitkeringen, ‘draait’ op ingewikkelde informatiseringsketens en geautomatiseerde besluitvorming en uitvoering.

Ook in de juridische praktijk is AI nodig. Zowel de hoeveelheid juridische informatie is toegenomen als andere soorten informatie, zoals informatie op computerservers die in beslag genomen zijn. Het zoeken van bewijs kan niet anders dan met behulp van AI. Of denk aan afhandeling van Wob-verzoeken waarbij gevraagd wordt om alle documenten over het bestrijden van corona.[4]  

Meer weten over AI? Marlies van Eck & Ronald van den Hoogen organiseren de specialisatieopleiding Artificial Intelligence Recht & Ethiek

2.1 AI is een systeemtechnologie en vaak een uitdrukking van macht

Hierboven noemde ik voorbeelden van AI in ons dagelijks leven. Het lijkt dan al snel niets anders dan ‘slechts’ een vorm van vooruitgang. Ik ga hier niet uitvoerig in op de voor-en nadelen, het belangrijkste om te vermelden is dat AI door de Wetenschappelijke Raad voor het Regeringsbeleid onlangs een systeemtechnologie is genoemd. Daarmee wordt bedoeld dat het, net als bijvoorbeeld elektriciteit, een grote impact heeft op de samenleving, die vooraf niet kan worden voorzien. Om een systeemtechnologie als AI in te bedden is een integrale aanpak vereist, met intensieve betrokkenheid van de overheid. [5]

Het ontwikkelen van AI en het gebruiken daarvan kan niet iedereen (zich veroorloven). Degene die de technologie koopt, bepaalt waar het voor wordt gebruikt. Daarmee komen we aan een belangrijk kenmerk dat snel is waar te nemen bij AI in de bestuursrechtelijke verhouding: AI versterkt doorgaans de bureaucratie en dus de overheid waarbij burgers, vooral de armere gemarginaliseerde groepen, worden ‘onderworpen’ aan de automatisering. [6]

2.2 Beleidsdoelen EC

De Europese Commissie (hierna: EC) beoogt met de regulering een samenleving te creëren die de voordelen van technologieën ten volle benut maar die niet is overgeleverd aan systemen en toepassingen die vanuit andere jurisdicties zijn ontworpen en voldoen aan op z’n zachts gezegd ‘andere’ maatstaven dan die in Europa. Net als destijds de wens was bij de regulering van de verwerking van persoonsgegevens die leidde tot de Algemene verordening gegevensverwerking (AVG), hoopt de EC hiermee Europese initiatieven een boost te geven zodat de afhankelijkheid van Sillicon Valley en China vermindert.[7]  De AVG kwam destijds tot stand ondanks een ongekend machtige lobby .[8] Ook het voorstel voor de Wet op de AI dat nu bekend is, wordt zwaar bestreden en moet daarom gezien worden als een schot voor de boeg zijn. Vanuit dit voorstel start de onderhandeling. [9]

Het gaat bij AI niet alleen om de technologie die als instrument wordt ingezet. Minstens zo belangrijk is het verdienmodel. De grondstof van AI wordt gevormd door data. Data vertegenwoordigen een grote economische waarde. Een overheid die AI wil inzetten moet er voor waken niet te betalen met de data die zij hebben vergaard voor hun publieke taken. Dit geldt zowel voor data over onze waterwerken als persoonsgegevens. [10]

2.3  De EC is zelf ook een gebruiker

Hoewel de EC naar buiten toe wil uitstralen dat alleen Europa in staat is om op een verantwoorde manier AI in te zetten, is deze geen baken van consistentie. Het migratierecht wordt al jaren gekenmerkt door het gebruik van technologie, en wordt dan ook de Migratiemachine genoemd.[11] De buitengrenzen van de EU worden bewaakt met toepassing van AI. Controversieel is de AI-leugendetector ‘iBorderCtrl’ die wordt gebruikt door Frontex.[12] Ook het Entry Exit System (EES) met grenscontroles voor niet-EU burgers in Schengengebied maakt gebruik van AI.[13]

 

3 Het voorstel voor de Wet op de Artificiële Intelligentie in het kort

Met het voorstel voor de Wet op de AI wil de EC direct het heft in eigen handen nemen. Kon de Europese gegevensbescherming buigen op een decennia lange traditie van overleggen, verdragen, nationale wetten en een richtlijn; hier wil de EC direct toe naar een verordening. Omdat daarnaast gekozen is voor een ruime definitie van AI, is het lastig te overzien wat de concrete impact zal zijn.

Het voorstel  is ‘risicogestuurd’: het verwachte risico van de AI bepaalt hoe zwaar de regels zijn. Verder is het voorstel geënt op productveiligheidswetten. Hoe hoger het risico; hoe zwaarder de ingrepen van de wetgever met als ultiem middel: het benoemen van ‘verboden praktijken’. Verboden praktijken zijn AI-systemen die in die specifieke context of praktijk niet mogen worden gebruikt. Echter, de meest gevaarlijke toepassing van AI, namelijk autonome wapens (‘de killer robots’) worden niet betrokken in dit voorstel. Dit heeft te maken met het ontbreken van competentie van de EC op het terrein van nationale veiligheid, maar is wel belangrijk hier op te merken. Het minst gereguleerd zijn de systemen met een laag risico.

De Europese wetgever neemt technologie als object van regulering, maar probeert vervolgens een differentiatie aan te leggen door te kijken naar de context, de doelen waarvoor het wordt ingezet en wie er door wordt geraakt. Het voorstel is gelaagd opgebouwd; er wordt gestart met het benoemen van ‘verboden praktijken’. Hieronder zal ik deze verboden praktijken bespreken.

3.1 De verboden praktijken

In artikel 5, eerste lid, van het voorstel van de AI wet worden vier praktijken beschreven die verboden zijn. Ik zal deze hieronder toelichten.

3.1.1 AI gericht op ons reptielenbrein

De eerste verboden praktijk ziet op het beïnvloeden van ons onderbewuste, soms ook wel ons reptielenbrein genoemd. In fysieke winkels maar ook online, wordt van alles gedaan om ons te sturen. De EC stelt voor dat het verboden is om subliminale technieken te gebruiken waarvan personen zich niet bewust zijn om het gedrag van personen wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen. Dit is opvallend want het verstoren van het gedrag van personen kan al gezien worden als een inbreuk op menselijke autonomie. Volgens dit voorstel echter is het alleen verboden is als er kans is op fysieke of psychologische schade. Maar wie bepaalt wat schadelijk is? Hele generaties worden nu al verslaafd gemaakt aan applicaties. [14]

Dit brengt mij op een volgende kanttekening: het voorstel beschermt ten onrechte niet ons brein, onze gedachten en lichamelijke integriteit. Met lichamelijke integriteit bedoel ik dat steeds vaker AI wordt gebruikt om iets af te lezen uit onze lichaamstaal, gezichtsuitdrukkingen of orgaanfuncties en om vervolgens ons gedrag of onze emoties of gezondheid te ‘meten’ en te veranderen.

Ons brein en onze gedachten vormen het laatste bastion van onze autonomie, onze geestelijke integriteit. In het recht telt ons handelen: we rijden te hard of geven te weinig inkomen op. Pas als er meer kennis is over de motieven, kan de overheid mensen iets zwaarders verwijten: namelijk opzettelijk in strijd met de wet handelen. Fantaseren over het overtreden van wetten mag altijd.

Vanaf 2017 waarschuwen neurowetenschappers voor de inbreuken die gemaakt kunnen worden op het brein.[15] Zij stellen dat de vrijheid van de geest gevaar loopt op het moment dat neurotechnologie wordt gebruikt om het brein te lezen of te overschrijven. [16]

Binnen Europa is Spanje begonnen met het nadenken en reguleren van digitale rechten bij het gebruikt van neurotechnologie. [17] Wereldwijd is Chili het eerste land waar bescherming van het zelfbeschikkingsrecht bij het gebruik van neurotechnologie wettelijk is vastgelegd. [18]

Al met al zou je met hetzelfde gemak kunnen zeggen dat dat onder deze verboden praktijk, vooral veel wordt toegestaan.

3.1.2 AI gericht op mensen in een kwetsbare positie

De tweede verboden praktijk ziet op het gebruik van AI voor mensen in een kwetsbare positie. Eigenlijk kun je het voorgaande ook hierop toepassen. Is helder wat schadelijk is en wie bepaalt dat? Vooral in de gezondheidszorg wordt hier al veel langer over nagedacht en is de relatie gelegd met het zelfbeschikkingsrecht. [19] Maatregelen die ter bescherming van de patiënt worden genomen worden niet voor niets ‘vrijheidsbeperkende maatregelen’ genoemd. Het neerleggen van een matje in het ziekenhuisbed dat een signaal geeft als de patiënt opstaat is een voorbeeld hiervan. Als we vanuit deze blik naar het voorstel van de AI wet kijken, valt op hoe beperkend het is om te focussen op schadelijke gevolgen.

3.1.3 AI om burgers mee te scoren

De derde verboden praktijk is gebaseerd op het verhaal dat China haar burgers ‘scoort’. Het wordt verboden dat een bestuursorgaan burgers punten geeft voor gedrag of voorspelde persoonskenmerken die geen verband houden met de context waarbinnen de data werd gegenereerd en hen vervolgens nadelig of ongunstig behandelt.

Het voorstel leidt ertoe dat de markt zich geen illusies hoeft te maken; toepassingen als deze mogen niet: ‘Take your business elsewhere!’

Uiteraard leidt het ook tot de vraag hoever de bepaling reikt; burgers worden in Nederland al gescoord en gecategoriseerd door de overheid. Op basis daarvan bepaalt de overheid nu al welke eenzijdige handelingen er worden verricht. [20]

3.1.4 AI met gezichtsherkenning in de publieke ruimte voor rechtshandhaving

De technologie waar iedereen slecht van zou moeten slapen is de gezichtsherkenningstechnologie in publieke ruimte. Het betekent dat je niet anoniem op straat loopt en dat bedrijven of overheden je kunnen herkennen zonder dat je je identificeert bij het bevoegde gezag in strikt omschreven situaties. In sommige landen is de politie groot liefhebber van deze technologie omdat protestanten op deze manier geïdentificeerd worden. Het bekendste voorbeeld is Hong Kong.[21] In meerdere steden in de VS echter is gezichtsherkenning al verboden.

Alle reden dus om heel oplettend te zijn. Helaas kan ook hier weer van gezegd worden dat er toch meer wordt toegestaan dan verboden. Dat heeft te maken met de woorden ‘in real time’. Stel dat de politie gezichtsherkenning in wil zetten bij een grote demonstratie. Is het dan al niet meer verboden als de beelden met 5 seconden vertraging binnenkomen en geanalyseerd worden? De gevolgen voor burgers zijn net zo ernstig. En dan de toevoeging ‘met het oog op rechtshandhaving’, betekent dit dat het wel mag worden ingezet voor andere dingen? En door bedrijven? Kortom ook hier veel onduidelijk terwijl er veel vrijheden op het spel staan. [22]

3.2 Hoog risico-systemen

Na de verboden praktijken komen de hoog risico-systemen. Valt een AI-systeem hieronder, dan gelden er talloze regels die ervoor moet zorgen dat deze systemen alleen onder bepaalde condities mogen worden gebruikt. Je kan dit vergelijken met het vervoeren van gevaarlijke stoffen of het vliegen met een drone. Iets heeft aanmerkelijke voordelen voor bepaalde processen, maar in verkeerde handen of bij verkeerd gebruik kan het onherstelbare schade aanrichten.

3.3 Bepaalde AI-systemen

Een stapje lager in de piramide leidt direct tot een grote vrijheid voor makers en gebruikers. Dit zijn de ‘bepaalde AI systemen’ en deze worden nauwelijks gereguleerd. Deze systemen mogen gemaakt, verhandeld en gebruikt worden als het maar transparant is voor mensen die hiermee te maken krijgen (Titel IV). Denk aan chatbots die jouw vragen aan de overheid beantwoorden. Het verschil in de zwaarte van regulering met de vorige categorie is enorm.

3.4 AI-systemen met laag risico

AI-systemen met een laag risico, zoals de aanbeveling van Spotify. Hier mogen adressanten zelf weten wat ze doen en worden ze gestimuleerd met elkaar afspraken te maken.

 

4 Analyse enkele onduidelijkheden

Na bestudering van het voorstel blijven er veel onduidelijkheden over. Dit wordt niet in de laatste plaats veroorzaakt door de complexiteit van het voorstel dat is geënt op productveiligheid. AI gaat het werk van juristen zeker veranderen maar gelukkig brengt dit voorstel nog jaren aan werk! [23] Voor de meeste bestuursrechtjuristen is de productveiligheid wel een andere manier van denken en een die zich slecht verhoudt met de traditie van het staats-en bestuursrecht.

Ik wil me voor nu beperken tot de volgende onduidelijkheden.

4.1.1 Is de vergelijking met productveiligheid wel geschikt?

Voor de juristen die betrokken zijn bij de inkoop van producten is het al een veel logischer werkwijze; waar de ene dag printers moeten worden ingekocht, gaat het de andere dag om autonoom vliegende drones. [24] Het is voor de inkopende overheid fijn als het kan vertrouwen op een CE markering.

Toch is het de vraag of productveiligheid de meest logische is. AI heeft als kenmerk dat het veranderlijk is en tijdens het gebruik nog verder ontwikkelt. Zou voedselveiligheidswetgeving dan niet een betere inspiratiebron zijn? Van der Linden wijst op een ander nadeel van de gekozen aanpak: het wordt een enorme bureaucratische exercitie voor ontwikkelaars en gebruikers om aan te tonen dat de AI hoog-risico systemen veilig zijn, terwijl dat niet per se hoeft te betekenen dat deze daadwerkelijk veilig. [25]

4.1.2  De (markt voor) belastingdiensten krijgen vrij spel

Ook in het belastingrecht wordt AI gebruikt, men spreekt ook wel van Tax technology. Voorbeelden hiervan zijn het geautomatiseerd opleggen van aanslagen, werken met ‘complexe risico-detectiemodellen’ [26], het monitoren van burgers op social media [27] of technologie waarmee netwerkanalyses van BTW-fraude carrousels gemaakt kunnen worden.

Opvallend is echter dat het voorstel dergelijke toepassingen niet aanmerkt als hoog risico-systemen. Sterker, in de overwegingen staat expliciet dat AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve (lees: bestuursrechtelijke) procedures van belasting-en douaneautoriteiten niet moeten worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten (overweging 38).

Wel als hoog risico systemen worden aangemerkt de systemen die worden gebruikt om te beoordelen of personen in aanmerking komen voor overheidsuitkeringen- en diensten evenals voor het verlenen, beperken of intrekken of terugvorderen van dergelijke uitkeringen of diensten. Dus bestuursorganen die uitkeringen verstrekken, vergunningen verlenen of intrekken etc krijgen wel te maken met de beperkingen van dit voorstel, maar de belastingheffende bestuursorganen niet. Als inwoner van land dat eerder al een belastingstaat in plaats van een politiestaat is genoemd, vind ik dit, nog afgezien van recente ontwikkelingen, geen gewenste situatie.[28]

4.1.3 Is het voorstel geschikt om het gewenste effect te bereiken?

Met wetten wordt geprobeerd het gedrag van bedrijven, overheden of burgers af te dwingen. Dit lukt soms wel, maar het is niet altijd het gedrag dat de wetgever voor ogen had.[29] Dat risico zie ik ook bij dit voorstel. Bij een groot verschil in regulering en bijbehorende voorwaarden tussen de ‘hoog risico’ systemen en ‘bepaalde systemen’ zullen de adressanten zich vooral hierop gaan richten.

Omdat er zoveel op het spel staat, worden de belangen en wil om deze discussie aan te gaan groot. Het gaat dan lonen om vooral te kijken hoe je in de lagere categorie kan komen. Daarmee is het mogelijk dat dit leidt tot gedragsbeïnvloeding; een afkeer van het gebruiken van het gebruiken van hoog risico systemen, maar het kan ook tot ander gedrag leiden; eindeloos gedoe over wel of geen hoog risico. Zelf ben ik een voorstander van de meer genuanceerde aanpak die in Duitsland is voorgesteld door een groep experts vanuit diverse disciplines. [30]

4.1.5 Blijft er voor lidstaten nog iets over om te reguleren?

Een heel belangrijke en nog onbeantwoorde vraag is opgeworpen door Veale en Zuiderveen Borgesius. Zij constateren dat het ontwerp grote zwakheden vertoont door het ingewikkelde ontwerp en onnauwkeurige formuleringen. In combinatie met de uitgesproken ambitie dat dit dé wet op AI is, kan dit betekenen dat de lidstaten zelf geen nationale regulerende bevoegdheden meer hebben.[31] Dit betekent misschien dat Spanje de eerder genoemde rechten in relatie tot neurotechnologie niet zou kunnen invoeren. Het kan ook inhouden dat Nederland in de Algemene wet bestuursrecht of belastingwetten geen nadere bepalingen kan opnemen. Dat is uitermate ongewenst.

 

5 Relatie met het bestuursrecht

Kijkend naar de relatie van dit voorstel met het bestuursrecht, dan heb ik gemengde gedachten. Omdat Nederland nogal achterblijft bij het reguleren van de geautomatiseerde overheid, ben ik de eerste om Europese pogingen toe te juichen om dat wel te doen. Maar, de manier waarop de EC dit wil doen, vind ik ongeschikt. Ik leg dat hieronder uit.

Het voorstel neemt de technologie als uitgangspunt. Het klopt dat er aan de technologie kenmerken kleven die overal spelen. Maar is dat voldoende gemeenschappelijk om tot een regeling te komen? Lopen we daarmee niet tegen dezelfde problemen op als bij het reguleren van het verwerken van persoonsgegevens?  

Omdat de AVG ‘een alles in een regeling’ is, is deze naar haar aard zo generiek dat er een apart normenstelsel wordt ontwikkeld. Dit verhoudt zich niet altijd goed met met de rechtsgebieden waarbinnen de persoonsgegevens verwerkt worden. Berkvens waarschuwde er bij persoonsgegevens jarenlang voor dat omnibuswetgeving die niet wordt ingevuld door bijzondere wetten van het begin af aan achterhaald zal zijn en lastig toe te passen.[32] Voor het bestuursrecht is dit een reëel probleem. De geschiedenis laat zien dat het gegevensbeschermingsrecht en het bestuursrecht twee gescheiden werelden bleven. [33]

In de ongelijke relatie overheid en burger oefent de overheid op verschillende manieren macht uit. In het bestuursrecht is het gebruikelijk om te kijken naar besluiten. Dit ligt anders bij het verwerken van (persoons)gegevens en het gebruiken van algoritmen (vaste of lerende). Feitelijke handelingen zoals het aanleggen van databases, uitgeven van BSN’s [34], aanleggen van zwarte lijsten[35] of het gebruiken van risicoprofielen om te bepalen welke burger vereerd wordt met een huisbezoek zijn ook lastig te duiden.[36]

Maar het al dan niet gebruiken van AI is ook een uitdrukking van macht. En juist daarom moeten bestuursrechtjuristen alert zijn op deze vorm van besturen. Het is daarentegen ook problematisch als de overheid een bepaalde taak niet kan verrichten omdat de noodzakelijke systemen niet werken. In de woorden van de Onderzoeksraad Voor Veiligheid groeit de kloof tussen digitale afhankelijkheid en de dreigingsomvang enerzijds, en de weerbaarheid van de samenleving daartegen anderzijds. Snel en fundamenteel ingrijpen is nodig om te voorkomen dat de maatschappij ontwricht raakt. [37]

Ondertussen blijft het onduidelijk welke rechtsbescherming er is tegen een besluit dat met behulp van AI is voorbereid. Niet voor niets waarschuwt de Afdeling bestuursrechtspraak ervoor dat het voor de bestuursrechter die een besluit toetst haast niet is vast te stellen op basis waarvan het bestuursorgaan tot dat besluit is gekomen. [38]

 

6 Conclusie

De Europese wens om AI en het gebruik daarvan te reguleren heeft zijn weerslag gekregen in een voorstel dat de ambitie heeft allerlei sectoren te bestrijken. Die ambitie, maar ook de opzet doen vrezen dat de wet vooral tot veel bureaucratie leidt en de veiligheid van mensen of het borgen van de grondrechten niet bevordert. Opvallend is ook dat het voorstel juist niet grensverleggend is als het gaat om rechten die in het geding kunnen zijn, het recht op autonomie / vrije wil en het recht ons brein te beschermen.

Hoewel het een positieve zaak is dat het voorstel zich ook richt tot de bedrijven die AI maken, zie ik liever dat de regulering specifieker is, met aandacht en respect voor het rechtsgebied waarbinnen of waarvoor de AI wordt ingezet. De Nederlandse wetgever doet er goed aan zelf het gebruik van AI door bestuursorganen te reguleren. Tot slot wil ik de wetgever oproepen zeker te stellen dat nationale bevoegdheden tot het maken van regels voor de relatie overheid en bestuur, niet zonder goede reden aan Europa overgedragen worden.

7 Eindnoten