Met de komst van de Europese AI Act rijzen er vragen over de impact van deze wetgeving op AI-systemen in het onderwijs. Innovatieve tools zoals de Feedback Companion, ontworpen om het leren te versterken met gerichte feedback, roepen de vraag op: valt deze tool onder de categorie “hoog-risico”? En welke gevolgen heeft dit voor scholen en instellingen? In deze blog leg ik uit waarom de Feedback Companion niet als hoog-risico toepassing wordt beschouwd en stel ik onderwijsprofessionals gerust met feiten en onderbouwing.

Wat zijn hoog-risico AI-systemen volgens de AI Act?

De Europese AI Act hanteert een risicogebaseerde benadering voor AI-systemen, waarbij hoog-risico toepassingen aan strenge verplichtingen worden onderworpen. In het onderwijs vallen bijvoorbeeld de volgende systemen onder deze categorie:

• Toelatingssystemen: Systemen die bepalen wie wordt toegelaten tot opleidingen.
• Beoordelingssystemen: Systemen die leerresultaten automatisch beoordelen.
• Adaptieve leermiddelen: Systemen die zich dynamisch aanpassen aan de behoeften en prestaties van een leerling (Europese Commissie, 2024).

Deze toepassingen worden als hoog-risico beschouwd vanwege hun directe invloed op beslissingen die het leerproces van studenten beïnvloeden.

De Feedback Companion functioneert echter anders. Het is een ondersteunend hulpmiddel dat docenten en studenten helpt bij het genereren van feedback en feedforward. Het neemt geen beslissingen over beoordelingen en heeft geen autonome invloed op leeruitkomsten. Dit verschil is cruciaal voor de classificatie onder de AI Act.

Waarom de Feedback Companion geen hoog-risico toepassing is

De Feedback Companion valt niet binnen de definitie van een hoog-risico toepassing, om de volgende redenen:

1. Ondersteunende functie, geen besluitvorming
   De Feedback Companion biedt suggesties voor feedback en feedforward op basis van vooraf bepaalde leerdoelen of ingeleverd werk. Deze suggesties worden altijd gevalideerd en gepersonaliseerd door de docent. Er is geen sprake van autonome besluitvorming die het leerpad of de beoordeling van een student direct beïnvloedt (Hattie & Timperley, 2007).
2. Menselijke controle blijft leidend
   Volgens de AI Act moet menselijk toezicht gegarandeerd zijn bij AI-toepassingen in gevoelige sectoren zoals onderwijs (Europese Commissie, 2024). De Feedback Companion functioneert als een hulpmiddel dat de docent ondersteunt, niet vervangt. Dit betekent dat de uiteindelijke verantwoordelijkheid voor beoordelingen en feedback bij de docent ligt.
3. Geen dynamische aanpassing van leerpaden
   In tegenstelling tot adaptieve leermiddelen, past de Feedback Companion het leertraject van een student niet automatisch aan. Het biedt alleen aanvullende inzichten op basis van statische criteria, zonder het leerproces autonoom te beïnvloeden.

Wat betekent dit voor scholen?

Hoewel de Feedback Companion geen hoog-risico toepassing is, blijven er verantwoordelijkheden voor scholen:

• Privacybescherming: De gegevensverwerking moet voldoen aan de AVG, inclusief strikte waarborgen voor dataveiligheid en transparantie over datagebruik. De Feedback Companion draait op Europese servers (bijvoorbeeld Azure) en voldoet aan de AVG-richtlijnen.
• Training en begeleiding: Docenten en studenten moeten begrijpen hoe de tool werkt en wat de rol ervan is in het leerproces. Dit valt binnen de normale trainingsverplichtingen van scholen volgens de AI Act.
• Regelmatige evaluatie: Het is essentieel om regelmatig te controleren of de tool naar verwachting functioneert en of gebruikers tevreden zijn met de resultaten (Sluijsmans & Segers, 2018).

Zorgvuldig én geruststellend omgaan met AI

De implementatie van AI in het onderwijs roept begrijpelijke vragen op, maar het is belangrijk om onderscheid te maken tussen systemen die daadwerkelijk risico’s met zich meebrengen en tools zoals de Feedback Companion. Door de ondersteunende aard van de tool, de focus op menselijke controle en de naleving van privacyregels, is de Feedback Companion geen hoog-risico toepassing.

Scholen kunnen met een gerust hart blijven innoveren en profiteren van AI-tools, zolang ze deze op een transparante en verantwoorde manier inzetten. Met de Feedback Companion ligt de kracht in de samenwerking tussen mens en technologie—precies zoals de AI Act het bedoeld heeft.

Ben je benieuwd hoe de dataflows gaan?

Check dan deze kennisclip:

Bronnen

• Europese Commissie. (2024). AI Act: Comprehensive framework for trustworthy AI. Verkregen via https://eur-lex.europa.eu.
• Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. https://doi.org/10.3102/003465430298487.
• Sluijsmans, D., & Segers, M. (2018). Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs. Culemborg: Phronese.
• EU AI Act Compliance Checker. (z.d.). EU Artificial Intelligence Act. Verkregen via https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/