ľ¹Ï¸£ÀûÓ°ÊÓ

De AI Act stelt sinds 2-2-2025 bepaalde AI systemen en tools als verboden. Verboden AI systemen kennen een onaanvaardbaar risico en kunnen bijvoorbeeld de vrije keuze van mensen beperken, discrimineren of manipuleren of in tegenspraak zijn met de fundamentele mensenrechten. De AI verordening vervangt niet de AVG. Beide wetten gelden.

Het toepassen van verboden AI systemen en tools in de onderwijsomgeving is dus niet toegestaan. Mocht er een vermoeden bestaan dat er sprake is van verboden AI dat wordt toegepast of gaat worden toegepast in het onderwijs, (dus met onderwijsondersteuners, docenten of studenten of in een onderwijsomgeving of tijdens een stage) dan moet daar terstond melding van worden gemaakt via: aionderwijs@uu.nl,

Dit emailadres is ook bedoeld als er advies nodig is over verboden AI systemen of tools of toepassing van AI in een verboden use case. Ook het gebruik van deze AI tools in een pilot in het onderwijs, of het doen van onderzoek (bijvoorbeeld met USO of EMP middelen) naar deze systemen met het doel van gebruik in het UU onderwijs of aan andere partijen aan te bieden, is niet toegestaan. Hier valt ook de toepassing van verboden AI in bijvoorbeeld master research projecten t.b.v. afstudeeropdrachten of tijdens stages.

Welke AI systemen en tools zijn verboden (Art. 5)

• 'social scoring' op basis van bepaald sociaal gedrag of persoonlijke kenmerken;
• 'predictive policing' om strafbare feiten bij mensen te beoordelen of te voorspellen;
• het creëren of (via scraping) uitbreiden van databanken voor gezichtsherkenning;
• manipuleren of misleiden van mensen;
• biometrische identificatie op afstand voor rechtshandhaving. Hier zijn wel enkele uitzonderingen van toepassing;
• biometrische categorisering, waarbij mensen op basis van biometrische gegevens in bepaalde gevoelige categorieën worden ingedeeld.
• emotieherkenning in de werkomgeving en het onderwijs (Art. 5.1.f.). 

In Recital 18 van de AI Act wordt uitgelegd dat de term emotieherkenning verwijst naar emoties als geluk, verdriet, woede, angst, verrassing, walging, verlegenheid, opwinding, schaamte, minachting, tevredenheid en amusement. Het omvat geen fysieke toestanden, zoals pijn of vermoeidheid. Louter de detectie van duidelijk zichtbare uitdrukkingen, gebaren of bewegingen is niet verboden, tenzij ze worden gebruikt om emoties te identificeren of af te leiden. Een voorbeeld van emotieherkenning in de onderwijsomgeving is de toepassing van AI-assisted VR-brillen bij studenten waarin emoties zoals agressie of angst bewust worden geregistreerd. Dit artikel geldt voor iedere werknemer.

Indien een AI-systeem of -tool niet onder de categorie Verboden AI valt, betekent dit overigens niet dat het AI-systeem of -tool dus automatisch wel is toegestaan. Daarvoor is tenminste een AI risico assessment nodig. Dit geldt ook voor algoritmes die mogelijk risicovolle effecten op onderwijs, onze onderwijssystemen of mensenrechten zouden kunnen hebben. 

Governance van verboden AI

De Autoriteit Persoonsgegevens (AP) houdt toezicht op de naleving van de AI verordening en kan boetes uitdelen bij overtreding.

Het is niet toegestaan om als student, docent of onderwijsondersteuner zelf te bepalen of er sprake is van verboden AI (of van andere risico categorieën conform de AI Act). Er kan bijvoorbeeld ook sprake zijn van een uitzondering in de wet. Dit moet worden vastgesteld door ten minste een gecertificeerd AI compliance officer (CAICO) of AI Governance officer. Gebruik het emailadres in geval van twijfel, desnoods anoniem.

Voor elke specifieke use case wordt een grondige beoordeling uitgevoerd door AI-compliance officers (CAICO) om te bepalen of het AI-systeem inderdaad onder de verboden valt die in de wet zijn uiteengezet. Deze bepaling vereist een zorgvuldige analyse en kan afhangen van de context van het gebruik, maar ook deels van de rol van de universiteit als verwerkersverantwoordelijke of als derde gebruiker van de AI of bijvoorbeeld facilitator van het AI-systeem.

De verantwoordelijk voor het vrijwaren van de UU onderwijsomgeving van verboden AI ligt bij de vice-decanen onderwijs voor de faculteit en in mandaat bij de onderwijsdirecteuren/opleidingsdirecteuren van de opleidingen.