Cijferberekening bij een samengestelde toets: hoe kies je een verantwoorde methode?
Bij het berekenen van cijfers voor een toets die zowel meerkeuzevragen als open vragen bevat, kom je voor een aantal keuzes te staan. Twee belangrijke vragen zijn: hoe ga je om met de gokscore bij meerkeuzevragen, en hoe combineer je scores van verschillende vraagtypes tot een eindcijfer? Verschillende keuzes kunnen leiden tot verschillende cijfers. Hoe maak je hierin een verantwoorde keuze?
Waarom corrigeren voor gokken?
Een van de perspectieven die je kunt nemen op toetsing is dat je een toets kunt zien als een manier om de kennis van een student te meten; in hoeverre beheerst de student het leerdoel? Maar bij meerkeuzevragen bestaat er de kans dat studenten het juiste antwoorde gokken. Zonder kennis heeft een student bij vier antwoordopties 25% kans op een goed antwoord. Daarnaast hoeven studenten bij meerkeuzevragen het juiste antwoord alleen te herkennen, niet zelf te produceren. Dit leidt tot een overschatting van de daadwerkelijke kennis en zul je sneller denken dat een student het leerdoel beheerst.
Om die overschatting te compenseren zijn er methodes ontwikkeld om te corrigeren voor de gokscore (de score die een student gemiddeld haalt bij alleen gokken). Twee veelgebruikte correctiemethoden zijn (1) een kennisdrempel op te werpen (Van Berkel & Draaijer, 2011) of (2) de invloed van de gokscore mee te nemen in de cesuur.
- Kennisdrempelcorrectie: Bij deze methode trek je de verwachte gokscore af van de behaalde score. Er ontstaat een drempel vanaf wanneer de scores mee gaan tellen voor het cijfer, de kennisdrempel. De formule is: cijfer = (score-gokscore)/(maximale score-gokscore)*9+1. (zie figuur 1).
- Cesuuraanpassing: De cesuur wordt verhoogd om te corrigeren voor de gokscore (berekend door: gokscore+50% van de resterende punten). In het voorbeeld zijn er 24 punten te behalen en is de gokscore 6 (=0,25*24). Met een beheersingsgraad van 50% wordt de nieuwe cesuur dan 6+0,5*18=15. Hierdoor ontstaat er een ‘knik’ in de grafiek bij de cesuur (zie figuur 2).
In de linker figuur zie je dat scores onder de gokscore (6) niet meetellen voor een cijfer. Bij de rechter figuur is dit niet het geval. Daar tellen de eerste behaalde scores al mee voor een cijfer, maar het eerste gedeelte van de scorecurve verloopt vlakker (tot de cesuur, hier 15). Waar de eerste methode veronderstelt dat er onder de gokscore geen enkele kennis aanwezig is, erkent de tweede methode dat studenten vaak wel iets van kennis inzetten. Zo kan een student weten dat in ieder geval één (of misschien zelfs twee) van de alternatieven niet juist is (zijn). Het is dus niet zo zwart-wit, er zijn allerlei grijstinten tussen het antwoord weten en blind gokken. Vanuit die gedachte heeft de tweede optie de voorkeur, maar het voornaamste om hieruit mee te nemen is dat je voor het berekenen van een cijfer allerlei keuzes moet maken en dat je hier goed over na moet denken zodat je die keuzes ook kunt verantwoorden.
Hoe combineer je meerkeuze- en open vragen?
Zodra een toets meerdere onderdelen bevat (zowel meerkeuze- als open vragen), rijst de vraag hoe je deze samenvoegt tot een eindcijfer. Twee hoofdroutes zijn mogelijk:
- Deelcijfers middelen: Je berekent afzonderlijke cijfers voor het meerkeuze-gedeelte en het open vraaggedeelte. Vervolgens neem het (gewogen) gemiddelde. Deze aanpak maakt het mogelijk om elk onderdeel een eigen gewicht en gokcorrectie te geven.
- Een cijfer op totaalscore: Je telt eerst de ruwe scores van beide delen bij elkaar op en past daarna een cijferberekening toe op de totaalscore. De gokcorrectie pas je dus toe op de gehele toets.
Bij het combineren van een meerkeuze- en een open vragen-onderdeel moet je nadenken over hoe zwaar elk gedeelte mee zal tellen. Als je elk onderdeel even zwaar laat meetellen, geef je aan dat je deze onderdelen even belangrijk vindt. Als je bijvoorbeeld meer belang hecht aan hogere-orde vaardigheden uit de open vragen, kun je dat deel zwaarder laten meewegen.
Vergelijking van de methodes
We kunnen gaan kijken wat voor gevolgen de bovenstaande methodes in combinatie met de twee manieren van raadkanscorrectie hebben voor het cijfer. We hebben voor een toets met meerkeuzevragen en open vragen (beide 24) alle combinatie van scores bekeken en als eerste gekeken naar het gemiddelde cijfer dat hier uitrolde. Hieraan kun je dus zien welke methode (op basis van dezelfde scores) de hoogste cijfers (of laagste cijfers) oplevert. Het zou natuurlijk kunnen dat een bepaalde methode significant nadeliger is voor studenten dan de andere methodes. Vervolgens hebben we gekeken naar patronen in de cijfers.
- Deelcijfers middelen
- A: Kennisdrempelcorrectie bij meerkeuzevragen.
- B: Cesuuraanpassing bij meerkeuzevragen.
- Een cijfer op totaalscore
- C: Kennisdrempelcorrectie op totaalscore.
- D: Cesuuraanpassing op totaalscore.
- Kennisdrempelcorrectie bij meerkeuzevragen (gemiddelde = 4.96)
- Cesuuraanpassing bij meerkeuzevragen (gemiddelde = 5.23)
- Kennisdrempelcorrectie op totaalscore (gemiddelde = 4.88)
- Cesuuraanpassing op totaalscore (gemiddelde = 5.13)
De manier van combineren van de scores (cijfers berekenen en dan middelen versus het combineren van scores) lijkt niet veel uit te maken voor de cijfers. Daarentegen zien we wel een duidelijk verschil tussen de kennisdrempelcorrectie en de cesuuraanpassing waarbij de eerste resulteert in lagere cijfers (gemiddeld genomen). Dit is op zich niet zo gek, als je bedenkt dat bij de aanpassing van de cesuur scores onder de 6 punten niet direct resulteren in een 1.
Als we naar de patronen kijken, zien we dat verschillende scores op de deeltoetsen bij het middelen van deelcijfers invloed heeft op het cijfer. Bij het gebruik van de totaalscore is die invloed er niet. Dat is redelijk simpel te verklaren. Stel, je hebt 3 punten voor je meerkeuzevragen en 3 punten voor je open vragen. Bij de kennisdrempelcorrectie op totaalscore krijg je dan een 1, want het aantal punten komt niet boven de kennisdrempel van 6 punten. Maar met alleen een kennisdrempelcorrectie bij de meerkeuzevragen haal je een 1 op meerkeuzevragen en een 2,1 op de open vragen. Je zou kunnen stellen dat deze methode de twee type vragen anders behandeld en dat kan zomaar de bedoeling zijn.
Conclusie
De manier waarop je een cijfer berekent voor een samengestelde toets doet ertoe. Er is geen absoluut juiste of foute methode, maar de keuzes moeten wel bewust worden gemaakt. Je moet goed nadenken over wat de toets beoogt te meten en in of alles hetzelfde gewogen moet worden. Denk dus goed na over welke manier van gokcorrectie je wilt toepassen. Hieronder kun je zien hoe je de gokcorrectie via de cesuuraanpassing instelt in Remindo.
Stap 1: Stel ‘Pas raadkanscorrectie toe’ in op nee.
Dit voelt uiteraard wat vreemd aangezien we hier juist voor de raadkans willen corrigeren. Maar je moet dit zien als het knopje waarmee je de niet-betekenisvolle scores methode aan en uitzet. We willen hier de raadkans corrigeren via de cesuur, dus zetten we deze methode uit.
Stap 2: Pas de cesuur aan
Nu kun je de cesuur aanpassen met de nieuwe cesuur waarin de raadkans is meegenomen. In dit voorbeeld lag de nieuwe cesuur bij 15 punten (15/24=62,5).
Stap 3: Check de knik
Gebruik de visuele weergave om te checken of je de knik op de juiste manier terug ziet komen.
Stap 4: Check de scoretabel
Als laatste kun je nog de scoretabel nalopen of het overeenkomt met jouw verwachtingen (of met je eigen scoretabel).
Referenties
Berkel, H. van, & Draaijer, S. (2011, maart). Uit de praktijk: Gids voor toetsontwikkeling. Examens, 8(1)