ľ�ϸ���Ӱ��

De regulering van zgn. hoog risico AI-systemen en -tools binnen de EU AI verordening (EU AI Act) gaat in op 2-8-2026. Vooruitlopend daarop geven we op deze pagina hierover reeds informatie om daarmee bewustwording te creëren en op tijd te anticiperen op de eisen van deze wet. De meeste bepalingen in de AI-verordening richten zich op AI-systemen die een ‘hoog risico’ vormen voor de gezondheid, veiligheid of grondrechten van personen. Deze AI-systemen en -tools moeten voldoen aan een reeks specifiek in de verordening vastgelegde eisen om hun betrouwbaarheid en veiligheid te waarborgen. Meer informatie is hieronder en ook te vinden op de site (AP).

Het aantal hoog risico AI-systemen en -tools in het onderwijsdomein is naar verwachting beperkt. Als je na het lezen van onderstaande toelichting over de AI Act het idee hebt dat er sprake zou kunnen zijn van (toekomstig) gebruik van hoog risico AI-systemen of -tools in het UU onderwijs, meld dat dan via: aionderwijs@uu.nl of benader de AI Governance Officer onderwijs via: y.g.roman@uu.nl. Mogelijk is er geen sprake van hoog risico AI, bijvoorbeeld omdat het valt onder een uitzondering of kan er met wat aanpassingen worden gezorgd voor een lagere risico categorie.

Als het puur wetenschappelijk onderzoek met/aan AI-systemen en -tools betreft, dan valt het in principe buiten de regulering van de AI Act. Echter, als het uiteindelijke doel van het onderzoek, het inzetten en toepassen van het AI-systeem of -tool in het onderwijs betreft en het is mogelijk hoog risico AI, dan is het raadzaam dit tijdig te signaleren. Met onderwijsdoeleinden wordt bedoeld het gebruik van AI met studenten, door docenten of in de onderwijsondersteuning en in onderwijssystemen.

Wat zijn hoog risico AI-systemen en -tools?

De AI-verordening van de EU classificeert AI-systemen als hoog risico AI als ze aan een of beide van de twee voorwaarden voldoen: 

1. Het AI-systeem is bedoeld om te worden gebruikt als veiligheidsonderdeel van een risicoproduct (bijlage I van de AI Act) of als het risicoproduct zélf een AI-systeem is. Bijvoorbeeld als AI wordt toegepast in auto’s, medische hulpmiddelen en liften.
2. Het AI-systeem valt onder een van de in bijlage III bij de wet genoemde gebieden, waaronder de onderwijssector:
   • AI-systemen en -tools die bedoeld zijn voor het bepalen van toegang, toelating en toewijzing tot onderwijs (of een opleiding, track of minor etc)
   • AI-systemen en -tools die leerresultaten evalueren en eventueel het leerproces sturen (bijvoorbeeld automated grading, learning analytics systemen met AI)
   • AI-systemen en -tools die het passende onderwijsniveau beoordelen of bepalen wie er toegang krijgt tot een bepaald lesniveau (bijvoorbeeld adaptieve leersystemen met AI)
   • AI-systemen en -tools die monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen (proctoring)

Let op: niet onder de AI Act vallen:

• AI systemen en tools die uitsluitend worden gebruikt voor militaire of defensiedoeleinden; Art 2.3.
• AI systemen en tools die uitsluitend worden gebruikt voor wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel; Art 2.6 en 2.8.
• AI systemen en tools puur voor gebruik voor niet-professionele doeleinden; Art. 2.10. Bijvoorbeeld docenten die alleen voor hun eigen, private ervaring experimenteren met een AI‑tool.
• Open source AI systemen en tools die niet als zelfstandig AI-systeem functioneren of niet voor gereguleerde toepassingen worden ingezet; Art 2.12.

Rollen binnen de AI Act

De eisen van de EU AI Act verschillen en zijn afhankelijk van de rol/actor. Het meest voorkomend binnen de UU zijn twee soorten rollen:

1. Deployer in de rol van eindgebruiker of gebruiksverantwoordelijke
2. Provider ofwel aanbieder

In het onderwijsdomein is de UU in de meeste gevallen een deployer.

Eisen deployer (gebruiker) van hoog risico AI-systemen en -tools (Art. 26 e.v.)

1. Gebruik volgens de instructies van de provider en borgen van human oversight door getraind personeel; Art 26.1-3 en Art 14.1-4
2. Inputdata dat gebruikt wordt in de AI modellen staat onder eigen controle en moet relevant en representatief zijn; Art 26.4
3. Operationeel monitoren; bij risico of ernstig incident gebruik stoppen en eerst provider en dan toezichthoudende autoriteit melden; Art 26.5 en 72, 73 en 79.1
4. Logs bewaren (minimaal 6 maanden of langer indien vereist); Art 26.6
5. Het vóór ingebruikname van het AI systeem informeren van medewerkers op de werkvloer aan betrokkenen; Art 26.7
6. Het niet toepassen van AI systemen die niet geregistreerd zijn in de Europese AI database voor hoog risico AI; Art 26.8
7. Het uitvoeren van een DPIA indien van toepassing zoals indien er persoonsgegevens in het AI systeem worden verwerkt; Art. 26.9, 27.4 en AVG Art. 35
8. Het informeren van betrokkenen (natuurlijke personen) wanneer het AI systeem beslissingen over hen neemt; Art 26.11
9. Het samenwerken met toezichthouders (o.a. AP) en documentatie verstrekken op verzoek; Art 26.12
10. Als er gebruik wordt gemaakt van AI voor emotieherkenning of biometrische categorisatie, moeten de mensen op wie dit wordt toegepast hierover geïnformeerd worden (als het niet onder verboden AI valt); Art 50.3
11. Fundamental-Rights-Impact-Assessment (FRIA) uitvoeren op het AI systeem voorafgaand aan ingebruikname en kennisgeving daarvan met resultaten aan toezichthouder; Art 27.1-5. Wij kiezen hiervoor de .

Eisen provider (aanbieder) van hoog risico AI-systemen en -tools (Art.16 e.v.)

1. Compliant met eisen van Art 16a waaronder:
   • Databeheer: representatieve, bias-beperkte en toegestane datasets; Art. 10
   • Transparantie en human oversight-maatregelen inbouwen en duidelijke instructies voor de gebruiker; Art. 13–14
   • Accuratesse, robuustheid, cyber­security van het AI systeem waarborgen; Art. 15
   • Post-market monitoring en incident­melding en daaropvolgende corrigerende acties uitvoeren; Art. 20, 72–73
2. Conformiteitsbeoordeling uitvoeren en EU-conformiteitsverklaring en CE-markering opstellen/aanbrengen; Art. 16.b,f–i en 43
3. Risicomanagementsysteem voor de hele levenscyclus toepassen; Art. 16c en 9, 17
4. Technische documentatie en logs bijhouden; Art. 16d en 18, 19
5. Correctie acties uitvoeren indien niet AI act compliant; Art 16j en 20
6. Registratie van het AI systeem in de EU-database; Art. 16.i
7. Quality managementsysteem (QMS) onderhouden; Art. 17.1
8. Beschikbaar zijn voor toezichthoudende autoriteiten zoals AP en conformiteit kunnen aantonen; Art. 16k en 21
9. Zorgdragen dat het AI systeem toegankelijk is voor personen met een beperking; Art 16l

Bij niet naleven

Niet-naleving van de verplichtingen vanuit de AI Act kan leiden tot boetes (Art. 99.8). Autoriteit Persoonsgegevens (AP) bepaalt over eventuele boetes. Elke lidstaat bepaalt zelf “in hoeverre” hij geldboetes oplegt aan hoger onderwijsinstellingen en deze zullen vermoedelijk niet het volledige EU‑plafond zijn, maar vergelijkbare orde als AVG‑sancties blijft aannemelijk.

Is de universiteit een provider of deployer of beide (conform EU AI Act)?

Zie onderstaande tabel voor vier verschillende situaties:

Ook bij volledig intern gebruik van het AI-systeem of -tool hanteert de AI Act de strengste set eisen en wordt het systeem beschouwd alsof het op de markt wordt gebracht.

Indien er sprake is van een situatie waarin de UU zowel deployer alsmede provider van het AI systeem of tool is, gelden verplichtingen van beide categorieën. Daarnaast is er uiteraard ook sprake van de noodzaak van naleving van andere relevante wetgeving zoals de AVG, cybersecurity wetgeving, WHW etc. Welke andere wetgeving nog meer aan de orde is, is afhankelijk van de omgeving en de toepassing waarin het AI systeem opereert. Dat is in een onderwijsomgeving bijvoorbeeld anders dan bij directie C&F, HR, FCA of C&M etc.

AI-systeem en -tool risico assessment

Om te bepalen of er sprake is van verboden AI of hoog risico AI moet er een risico assessment plaatsvinden van een AI-systeem en/of -tool. Dat geldt dus ook voor chatbots, AI-tutoren etc. Deze analyse dient uitgevoerd te worden door een CAICO.