Administreren toetsresultaat in de cijferadministratie

Op deze pagina is de functionele, operationele en technische specificatie te vinden voor het administreren van een poetsresultaat van een lokaal geplande toets.

De specificatie bestaat uit de volgende onderdelen:

Scenario

Nadat de toetsresultaten zijn vastgesteld en beschikbaar zijn gekomen in de module “Resultaatbepaling” binnen het toetssysteem heeft de Leraar (leerkracht/docent/instructeur) de mogelijkheid deze resultaten per toetsdeelnemer (Toetsresultaat) over te dragen aan de module “Cijferadministratie” binnen het schooladministratiesysteem. De leraar logt vervolgens in dit schooladministratiesysteem in en zet de toetsresultaten door naar de juiste plek in de cijferadministratie.

Figuur 1: Globaal overzicht van scenario

De functionele module “Resultaatbepaling” (links in figuur 1) is de functionaliteit om de overdracht van het Toetsresultaat als verzender te ondersteunen. Deze functionele module bevindt zich typisch in referentiecomponenten “Digitaal toetssysteem”, eventueel als Digitaal toetssysteem binnen een methode, van een Leermiddelenaanbieder.
Merk op dat niet alle functionaliteiten binnen het Digitaal toetssysteem digitaal hoeven te gebeuren, bijvoorbeeld de afname kan schriftelijk plaatsvinden of de beoordeling kan elders plaatsvinden.

De functionele module “Cijferadministratie” (rechts in figuur 1) is het referentiecomponent “Cijferadministratie”, of eventueel aangeduid met Administratiesysteem onderwijsresultaten, van een Administratiesysteemaanbieder. Deze cijferadministratie ontvangt het individuele Toetsresultaat voor verdere verwerking.

Figuur 2: Uitwisseling Toetsresultaat in scenario context

De informatie over het toetsresultaat van een individuele onderwijsdeelnemer (toetsdeelnemer) worden overgedragen in het bericht “Toetsresultaat”. Voor een verzameling samenhangende resultaten (bijvoorbeeld de resultaten van alle toetsdeelnemers van een afnamegroep) kan deze informatie in een reeks achterelkaar worden aangeleverd bij Cijferadministratie, of kunnen deze resultaten gebundeld in het bericht “Toetsresultaten“ worden aangeleverd.
In aanvulling op de resultaten van een toetsafname is tevens voorzien in de overdracht van de toetsscore van de individuele toetsdeelnemer in het bericht “Toetsscore” of van de toetsscores van een groep toetsdeelnemers in het bericht “Toetsscores“. Zijn in toetsresultaten waarbij de scores al omgezet naar een resultaat, is het door de uitwisseling van toetscores ook mogelijk de omzetting van score naar resultaat in de Cijferadministratie te doen, op basis van de richtlijnen die worden meegegeven in de Scoreschaal definitie in het bericht.
Voorwaardelijk voor deze informatieoverdrachten is dat de informatie over schoolperiodes en vakken (Schoolinfo) en over onderwijsdeelnemers en medewerkers (Schoolorganisatie) bij het Digitaal toetssysteem bekend is middels de uitwisseling van “Schoolinfo & Schoolorganisatie“.

De Leraar (Schoolmedewerker) kan in het Digitaal toetssysteem de overdracht van de verzameling scores of resultaten in één handeling laten uitvoeren door het meervoudige bericht of door het enkelvoudige bericht in een reeks achtereen over te dragen.

Het enkelvoudige bericht “Toetsresultaat” heeft een hoeveelheid informatie om het resultaat van een individuele toetsdeelnemer (student of leerling) door de Leraar (medewerker) te kunnen doorzetten in de Cijferadministratie (zie Figuur 3).

Figuur 3: Inhoud van bericht “Toetsresultaat“

De definitie van de verschillende informatie-elementen in dit bericht “Toetsresultaat“ wordt in navolgende paragraaf “Toetsscore en -resultaat informatie“ beschreven en uitgewerkt in de Results API.

In aanvulling op het bericht “Toetsresultaat” zouden we de uitwisseling kunnen uitbreiden met een extra bericht “Geavanceerde toetsresultaat” waarmee wordt ondersteunt dat de Cijferadministratie de resultaten geautomatiseerd op de juiste plek zou kunnen doorzetten (of een voorstel hiertoe doen richting de medewerker). Hiervoor is de unieke verwijzing naar de juiste cijferkolom (Cijferkolomid) een essentieel nieuw onderdeel van het bericht. Het concept ‘cijferkolom’ is afgeleid van 'LineItem' in 1EdTech OneRoster. Dit bericht “Geavanceerde toetsresultaat” is buiten scope van de PoC.

Het bericht “Toetsresultaten” heeft de informatie om de gebundelde resultaten van een groep van toetsdeelnemers door de Leraar (medewerker) te kunnen doorzetten in de Cijferadministratie. Belangrijk in dit bericht is dat algemene informatie slechts één keer in het bericht hoeft en dat specifieke informatie zich bij het individuele resultaat bevindt (zie onderstaand Figuur 4).

Figuur 4: Inhoud van bericht “Toetsresultaten“

De definitie van de verschillende informatie-elementen in dit bericht “Toetsresultaten“ wordt in navolgende paragraaf “Toetsscore en -resultaat informatie“ beschreven en uitgewerkt in de Results API.

Het enkelvoudige bericht “Toetsscore” heeft een hoeveelheid informatie om de score van een individuele toetsdeelnemer (student of leerling) door de Leraar (medewerker) te kunnen doorzetten in de Cijferadministratie (zie onderstaand Figuur 5).

Figuur 5: Inhoud van bericht “Toetsscore“

Het bericht “Toetsscores” heeft de informatie om de gebundelde scores van een groep van toetsdeelnemers door de Leraar (medewerker) te kunnen doorzetten in de Cijferadministratie. Belangrijk in dit bericht is dat algemene informatie slechts één keer in het bericht hoeft en dat specifieke informatie zich bij de individuele score bevindt (zie onderstaand Figuur 6).

Figuur 6: Inhoud van bericht “Toetsscores“

Dit scenario met verdere uitwerking is afgeleid van Edustandaard afspraak “Summatieve toetsresultaten VO” en aangepast naar uitbreiding van werkgebieden richting PO en MBO én voorbereid op geautomatiseerde m2m-gegevensuitwisseling met minimale handelingen van de Leraar. Voor het PO is er het bericht Toetsscore toegevoegd wat qua inhoud raakvlakken heeft met UWLR.

Toetsscore en -resultaat informatie

Een Toetsscore is een individuele score, d.w.z. een score behaald door een individuele toetsdeelnemer. Een toetsscore is meestal eenvoudig (bijvoorbeeld het behaalde aantal scorepunten) maar is soms complex (bijvoorbeeld bij een vaardigheidsscore). Scores kunnen wijzigen door wijziging van de inhoud (bijvoorbeeld aanpassing van gewicht van deelscores of neutralisatie van een item). In deze uitwisseling betreft de Toetsscore het behaalde aantal scorepunten; andere soorten scores zijn bijvoorbeeld ‘Percentage goed-gemaakte opgaven', ‘Benodigde tijd’, Vaardigheidsscore en Onderdeelscore.
Een Toetsresultaat is een volgens een specifieke schaal bepaald resultaat na omzetting/berekening met behulp van de score(s) van de toetsdeelnemer. Resultaten in hetzelfde domein zijn vaak onderling vergelijkbaar. Deze omzetting is soms eenvoudig en soms complex, maar ook soms openbaar en soms niet openbaar. Als een omzetting niet openbaar is dan wordt meestal alleen het resultaat geleverd. Resultaten kunnen wijzigen n.a.v. aanpassingen in de omzetting; normering is een onderdeel van de omzetting. In deze uitwisseling worden verschillende soorten Toetsresultaat ondersteund: Eindcijfer/Schoolcijfer; Goed/Voldoende/Onvoldoende en Referentieniveau. Een Toetsresultaat is niet altijd direct te berekenen vanuit de behaalde Toetsscore.
Een Scoreschaal definieert de omzetting van score naar resultaat. Er bestaan verschillende soorten scoreschalen; het meest eenvoudig is de tweepuntsschaal met cesuur die bepaalt of de score wel of niet voldoende was. Complexere scoreschalen bevatten ingewikkelde formules, soms met behulp van verschillende scores. In deze uitwisseling is gekozen voor de scoreschaal zoals 1EdTech OneRoster Gradebook Services de ScoreScale definieert en toepast. Deze scoreschaal komt overeen met de Matchingschaal in het ROSA Toetsdefinitie gegevensmodel.
Deze ScoreScale gaat uit van een omzettingstabel met regels in de vorm van: aan de linkerkant (Left Hand Side, LHS) een bepaalde score-interval, bijvoorbeeld “0-30“ en “31-65“, en aan de rechterkant (Right Hand Side, RHS) een bepaalde tekstuele waarde als resultaatwaarde, bijvoorbeeld “Onvoldoende“ respectievelijk “Voldoende“. Een Scoreschaal kan eventueel ook worden gebruikt om een behaald cijfer te kwalificeren door LHS is “7.1-10.0“ en RHS is “Goed“.

De berichten “Toetsscore” en “Toetsresultaat” zijn bewust compact en betreft alleen een enkelvoudig score of resultaat voor een individuele toetsdeelnemer en die van belang is voor de cijferadministratie van de betreffende onderwijsdeelnemer. De gebundelde berichten zijn bedoeld om efficiëntere overdracht. De informatie-elementen in deze enkelvoudige en gebundelde berichten zijn in onderstaande opsomming gedefinieerd, met tussen haakjes de naam van het gegeven in de Results API:

• Afnamemoment (assessmentDateTime) = het moment (datum met tijdstip) van afname.

• Medewerkerids (employees) = Lijst van verwijzingen naar schoolmedewerkers. Verwezen medewerkers zijn in staat om dit resultaat door te zetten in de cijferadministratie.

• Ontbrekend (missing) = Indicatie of scorewaarde/resultaatwaarde wel of niet ontbreekt.

• Onderwijsdeelnemerid (eckId/userIds) = Verwijzing naar de onderwijsdeelnemer die score/resultaat heeft behaald door de unieke identificatie van deze student (of leerling).

• Opmerking (additionalInfo) = Aanvullende informatie over score/resultaat, bedoeld voor de medewerker die het resultaat doorzet in de cijferadministratie. Dit kan informatie bevatten over de toegepaste normering of reden van ontbrekend resultaat (bijvoorbeeld “Niet komen opdagen”, “Niet ingeleverd“ of “Ziek weggegaan”). Deze informatie kan ook worden gekoppeld aan de gehele lijst van scores/resultaten in de bundel (bijvoorbeeld informatie over onregelmatigheden tijdens afname, bijvoorbeeld “Vogel in lokaal” of “Internetstoring”).

• Resultaatid (id) = Unieke identificatie van dit toetsresultaat; belangrijk om bij update of verwijdering eenduidig naar dit resultaat te kunnen verwijzen.

• Resultaattype (resultType) = Het type van het resultaat. Waarde uit waardenlijst:

  • "0.0-10.0 " = getal met 1 decimaal in interval [0.0-10.0], dit is een schoolcijfer

  • “OVG" = 1 letter uit {G, V, O} for Goed, Voldoende of Onvoldoende

  • “RnTR” = Referentieniveau Taal & Rekenen; waarden zijn Op weg naar 1F (Lager dan 1F), 1F t/m 4S.

  • “RnERK” = Referentieniveau Europees Referentiekader voor talen; waarden A1 t/m C2.

• Resultaatwaarde (resultValue) = Het door de onderwijsdeelnemer behaalde resultaat; waarde voldoen aan Resultaattype.

• Review-url (reviewUrl) = Een URL naar de details over score/resultaat in het Digitaal toetssysteem, soms ook wel 'deeplink' of 'submission review url' genoemd. Kan worden gekoppeld aan score/resultaat van de individuele toetsdeelnemer of aan de gehele lijst van scores/resultaten in de bundel.

• Score-id (id) = Unieke identificatie van de toetsscore; belangrijk om bij update of verwijdering eenduidig naar deze score te kunnen verwijzen.

• Scoregetal (scoreValue) = De door de toetsdeelnemer behaalde score; waarde voldoen aan de richtlijnen voor de omzetting naar resultaat binnen Scoreschaaldefinitie.

• Scoreschaal (scoreScale) = De definitie van de omzetting van score naar resultaat door de lijst van combinaties LHS en RHS. LHS (Left Hand Side) definieert het score-interval met beginwaarde en eindwaarde gescheiden door streepje, bijvoorbeeld “0-5“; RHS (Right Hand Side) definieert de resultaatwaarde als scoregetal binnen bijbehorende score-interval valt, bijvoorbeeld “Onvoldoende“.

• Status (status) = Status van score/resultaat. Waarde uit waardenlijst:

  • Voorlopig (in progress)

  • Definitief (final),

  • Overbodig/vervallen (canceled).

• Toetsid (assessmentId) = Verwijzing naar de toets die is afgenomen; verwijst naar de unieke identificatie van de toets.

• Toetsnaam (assessmentName) = Naam van de toets die is afgenomen; belangrijke informatie als de Toetsid niet bekend is bij de ontvanger.

De gegevens betreffende Resultaatid/Score-id, Medewerkerids, Onderwijsdeelnemerid, Resultaattype en Toetsid zijn verplicht; de gegevens Resultaatwaarde/Scoregetal, Afnamemoment, Ontbrekend, Status en Toetsnaam zijn aanbevolen; gegevens Opmerking en Review-url zijn optioneel. Per individuele score/resultaat is gegeven Resultaatwaarde/Scoregetal of Ontbrekend verplicht

De volgende resultaatinformatie is vooralsnog uitgesloten in deze uitwisseling omdat deze resultaten niet passen in de cijferadministratie:

• Complexere toetsresultaten zoals ruwe scores, normeringsinformatie en/of referentiescores (zoals percentielscore) behorende bij het behaalde resultaat.

• Resultaten op basis van meerdere normeringen op behaalde score.

• Meerledige toetsresultaten zoals deelresultaten, domeinresultaten of detailscores.

Interactie

Het gegevensbericht “Toetsscore” of “Toetsresultaat” wordt aangeleverd bij Cijferadministratie in een Push-bericht met als verzoek de gegevens te verwerken. In het antwoord op dit verzoek wordt alleen teruggemeld of het bericht in goede orde is ontvangen. In een foutsituatie wordt dit zo goed mogelijk in de terugmelding in het antwoordbericht teruggegeven. Mogelijke foutsituaties zijn: geen schoolmandaat verstrekt, geen toestemming/activering van de gegevensuitwisseling of het bericht voldoet niet aan de technische eisen (verplicht gegeven ontbreekt of gegevenswaarde voldoet niet aan de definitie).

Cijferadministratie gaat de toetsresultaten op initiatief van de Leraar verwerken. Er wordt geen terugmelding gegeven van het verwerkingsresultaat van deze toetsgegevens in de Cijferadministratie.

Schematisch ziet dit interactiemodel er als volgt uit:

Figuur 7: Interactiemodel van uitwisseling Toetsscore/Toetsresultaat

Bovenstaande interactiemodel gaat uit van één gegevensbericht per individuele score of resultaat. Er zijn ook gegevensberichten gedefinieerd voor de gebundelde scores of resultaten. Het interactiemodel ziet er voor de gebundelde berichten uit als in onderstaande Figuur 8.

Figuur 8: Interactiemodel van uitwisseling Toetsscores/Toetsresultaten

Voorafgaande aan deze uitwisseling, voordat de toets wordt afgenomen, vindt de uitwisseling van de schoolgegevens plaats, inclusief betreffende Onderwijsdeelnemers en Medewerkers.

Randvoorwaarde: Schoolinfo en Schoolorganisatie informatie

Randvoorwaardelijk voor het kunnen uitwisselen van het Toetsresultaat is dat de schoolinformatie over periodes en vakken en de persoonsgegevens van Onderwijsdeelnemers (leerlingen/studenten) en Medewerkers (leraar/administrateur) worden uitgewisseld. Deze uitwisseling is van referentiecomponent Administratiesysteem onderwijsdeelnemer naar het referentiecomponent Digitaal toetssysteem.

Randvoorwaarde: activering gegevensuitwisselingen door Onderwijsorganisaties

Om Toetsresultaten uit te kunnen wisselen is het van belang dat de gegevensuitwisseling tussen de Leveranciers is geactiveerd. Het activeren en deactiveren van een gegevensuitwisseling is uniform voor alle gegevensuitwisselingen beschreven als onderdeel van de architectuur.

Voor dit proces betreft het de volgende eisen:

• Een aantal gegevenssoorten zijn vertrouwelijk en vereisen een Verwerkersovereenkomst tussen de Onderwijsorganisatie en de Leverancier.

  • Het betreft de gegevenssoorten:

    • Schoolorganisatie

    • Toetsresultaten

  • De Onderwijsorganisatie heeft derhalve een Verwerkersovereenkomst gesloten met de Leverancier in de rollen van:

    • Leermiddelenaanbieder

    • Administratiesysteemaanbieder

• De Verwerkersovereenkomst heeft geresulteerd in een geldig mandaat in het Mandatenregister van de Onderwijsorganisatie.

• De Onderwijsorganisatie heeft de uitwisseling van gegevens geactiveerd conform bovenstaande tabel.

  • De administratie van Toetsresultaten in de cijferadministratie van een Administratiesysteem onderwijsdeelnemer dient correct te gebeuren. De Integriteitseis is in dit geval Hoog.

  • Voor de activering van de gegevensuitwisseling van Toetsresultaten dient derhalve de gegevensuitwisseling niet alleen bij de Verzender (bron: Digitaal toetssysteem) geactiveerd te zijn, maar ook bij de ontvanger (afnemer: Administratiesysteem onderwijsaanbieder) bevestigd te worden door een Applicatiebeheerder. Tevens dient de mandaatverificatie aan zowel de zijde van de Verzender als de Ontvanger voor beide Leveranciers uitgevoerd te worden.

  • Voor meer informatie zie: activeren en deactiveren gegevensuitwisseling en label Integriteitscontrole.

Randvoorwaarde: leveranciers zijn (technisch) op elkaar aangesloten

Voor iedere gegevensuitwisseling geldt dat deze bilateraal plaatsvindt tussen Leveranciers. In de architectuur is voor de M2M gegevensuitwisselingen uitgewerkt op welke wijze gegevens uitgewisseld kunnen worden.

Technisch: APIs

Voor dit proces zijn de volgende brongegevens relevant:

• SIS API

De interactieanalyse maakt gebruik van de:

• Results API

Release notes