Administreren leerresultaten

Op deze pagina is de functionele, operationele en technische specificatie te vinden voor het administreren van de toetsresultaten van een lokaal geplande toets.

De specificatie bestaat uit de volgende onderdelen:

Scenario

Nadat de resultaten van een toetsafname zijn vastgesteld en beschikbaar zijn gekomen in het referentiecomponent Digitaal toetssysteem heeft de leraar (leerkracht/docent/instructeur) de mogelijkheid de resultaten van de toetsdeelnemers (Toetsresultaten) over te dragen aan het referentiecomponent Administratiesysteem leerresultaten. Eventueel gebeurt de overdracht automatisch na vrijgave van de resultaten. Toetsresultaten zijn specifieke leerresultaten zoals gedefinieerd als informatieobject Leerresultaat in het domein Evaluatie onderwijs. De leraar logt vervolgens in dit schooladministratiesysteem in en zet de toetsresultaten door naar de juiste plek bij de betreffende onderwijsdeelnemers.

Open

Figuur 1: Uitwisseling van Toetsresultaten in scenario

In het Digitaal toetssysteem worden functionaliteiten als Toetsplanning, Afname, Beoordeling, Resultaatbepaling en Inzage ondersteund. De Toetsresultaten komen beschikbaar voor overdracht na de Resultaatbepaling. Merk op dat niet alle functionaliteiten binnen het Digitaal toetssysteem digitaal hoeven te gebeuren, bijvoorbeeld de afname kan schriftelijk plaatsvinden of de beoordeling kan elders plaatsvinden. In het Administratiesysteem leerresultaten worden de Toetsresultaten ontvangen en verwerkt.

Voorwaardelijk voor deze informatieoverdracht is dat de informatie over schoolperiodes en vakken (Schoolinfo) en over onderwijsdeelnemers en medewerkers (Schoolorganisatie) bij het Digitaal toetssysteem bekend is. Dit wordt ondersteund door de uitwisseling van “Schoolinfo & Schoolorganisatie“ van het Administratiesysteem onderwijsdeelnemer naar het Digitaal toetssysteem.

Open

Figuur 2: Uitwisselingsscenario

De informatie over de toetsresultaten van individuele onderwijsdeelnemers (toetsdeelnemers) wordt overgedragen in het bericht “Toetsresultaten” aan het Administratiesysteem leerresultaten. Dit bericht kan het enkelvoudige resultaat van een individuele toetsdeelnemer bevatten of een verzameling samenhangende toetsresultaten van een groep toetsdeelnemers. Voor de overdracht van een verzameling samenhangende toetsresultaten (bijvoorbeeld de resultaten van alle toetsdeelnemers van een afnamegroep) kan de informatie per toetsdeelnemer in een reeks berichten achterelkaar worden aangeleverd, of kunnen deze toetsresultaten gebundeld in één bericht worden aangeleverd. Het is de verzender, in dit geval het Digitaal toetssysteem, die dit bepaalt.
In aanvulling op de resultaten van een toetsafname is mogelijk in het bericht Toetsresultaten de toetsscore(s) van de individuele toetsdeelnemer bij te voegen, eventueel vergezeld door het betreffende Toetsonderdeel en/of de Scoreschaal definitie waarmee de omzetting van score naar resultaat is uitgevoerd.

Het bericht “Toetsresultaten” omvat het informatieobject “Toetsscores en -resultaten” en dit betreft de gebundelde resultaten van een groep van toetsdeelnemers om te kunnen worden doorgezet in het Administratiesysteem leerresultaten. Belangrijk in dit bericht is dat algemene informatie slechts één keer in het bericht hoeft en dat specifieke informatie zich in de lijst van objecten “Deelnemerscores en -resultaten” bevindt (zie onderstaand Figuur 3).

De definitie van de verschillende informatie-elementen in dit bericht “Toetsresultaten“ wordt in navolgende paragraaf “Toetsresultaten informatie“ beschreven en het object “Toetsscores en -resultaten” (AssessmentScoresAndResults) met object “Deelnemerscores en -resultaten” (StudentScoresAndResults) is uitgewerkt in de Results API.

In aanvulling op het bericht “Toetsresultaten” zouden we de uitwisseling in de toekomst kunnen uitbreiden met een extra bericht “Geavanceerde toetsresultaten” waarmee wordt ondersteund dat het Administratiesysteem leerresultaten de resultaten geautomatiseerd op de juiste plek zou kunnen doorzetten. Hiervoor is de unieke verwijzing naar de juiste resultaatkolom (Resultaatkolomid) een essentieel nieuw onderdeel van dit bericht. In dit geval hoeft de medewerker alleen in actie te komen als er bij het doorzetten problemen optreden (bijvoorbeeld als deze verwijzing niet bekend is in de administratie). Het concept ‘resultaatkolom’ is afgeleid van 'LineItem' in 1EdTech OneRoster. Dit bericht “Geavanceerde toetsresultaat” is vooralsnog buiten scope.

Dit scenario met verdere uitwerking is afgeleid van Edustandaard afspraak “Summatieve toetsresultaten VO” en aangepast naar uitbreiding van werkgebieden richting po en mbo én voorbereid op geautomatiseerde m2m-gegevensuitwisseling zonder handmatige handelingen van de leraar.

Toetsresultaten informatie

Een Toetsscore of Score is een individuele score, d.w.z. een score behaald door een individuele toetsdeelnemer. Een toetsscore is meestal eenvoudig (bijvoorbeeld het behaalde aantal scorepunten of de benodigde tijdsduur) maar is soms complex (bijvoorbeeld bij een vaardigheidsscore). Scores kunnen wijzigen door wijziging van de inhoud (bijvoorbeeld aanpassing van gewicht van deelscores of neutralisatie van een item). In deze uitwisseling betreft de Toetsscore het behaalde aantal scorepunten; andere soorten scores zijn bijvoorbeeld ‘Percentage goed-gemaakte opgaven', ‘Benodigde tijd’, Vaardigheidsscore en Onderdeelscore.
Een Toetsresultaat of Resultaat is een volgens een specifieke schaal bepaald resultaat na omzetting/berekening met behulp van de score(s) van de toetsdeelnemer. Resultaten in hetzelfde domein zijn vaak onderling vergelijkbaar. Deze omzetting is soms eenvoudig en soms complex, maar ook soms openbaar en soms niet openbaar. Als een omzetting niet openbaar is dan wordt meestal alleen het resultaat geleverd. Resultaten kunnen wijzigen n.a.v. aanpassingen in de omzetting; normering is een onderdeel van de omzetting. In deze uitwisseling worden verschillende soorten resultaten ondersteund: Eindcijfer/Schoolcijfer; Goed/Voldoende/Onvoldoende en Referentieniveau. Het Toetsresultaat is niet altijd direct te berekenen vanuit de behaalde Toetsscore.
Een Scoreschaal definieert de omzetting van score naar resultaat. Er bestaan verschillende soorten scoreschalen; het meest eenvoudig is de tweepuntsschaal met cesuur die bepaalt of de score wel of niet voldoende was. Complexere scoreschalen bevatten ingewikkelde formules, soms met behulp van verschillende scores. In deze uitwisseling is gekozen voor de scoreschaal zoals 1EdTech OneRoster Gradebook Services de ‘ScoreScale’ definieert en toepast. Deze ‘ScoreScale’ komt overeen met de Matchingschaal in het ROSA Toetsdefinitie gegevensmodel.
Deze ‘ScoreScale’ gaat uit van een omzettingstabel met regels in de vorm van: aan de linkerkant (Left Hand Side, LHS) een bepaalde score-interval, bijvoorbeeld “0-30“ en “31-65“, en aan de rechterkant (Right Hand Side, RHS) een bepaalde tekstuele waarde als resultaatwaarde, bijvoorbeeld “Onvoldoende“ respectievelijk “Voldoende“. Een Scoreschaal kan eventueel ook worden gebruikt om het aantal behaalde punten om te zetten naar een schoolcijfer of een behaald cijfer te kwalificeren door LHS is “7.1-10.0“ en RHS is “Goed“. Als de waarde aan de linkerkant (LHS) een enkel getal is dan specificeert dit de inclusieve laagste waarde van het interval (zonder hoogste waarde).

De informatie-elementen in het berichten zijn in onderstaande opsomming gedefinieerd, met tussen haakjes de naam van het gegeven in de Results API:

• Afnamemoment (assessmentDateTime) = het moment (datum met tijdstip) van afname.

• Berichtid (id) = Unieke identificatie van het bericht; belangrijk om bij update of verwijdering of foutopsporing eenduidig naar dit bericht te kunnen verwijzen.

• Deelnemerscores en -resultaten (lijst) = lijst van items Deelnemerscores en -resultaten (object StudentScoresAndResults) met per item de scores en resultaten van een specifieke onderwijsdeelnemer behaald bij de toetsafname. Per item de volgende informatie-elementen:

  • Dsenrid (id) = Unieke identificatie van deelnemerscores en -resultaten (afgekort dsenr); belangrijk om bij update of verwijdering eenduidig naar dit item te kunnen verwijzen.

  • Maximum score (scoreMaximum) = De door de toetsdeelnemer te behalen score in Scoregetal.

  • Onderwijsdeelnemer (verwijzing) = Verwijzing naar de onderwijsdeelnemer (in object StudentReference) die de scores/resultaten heeft behaald.

  • Ontbrekend (missing) = Indicatie of scores en resultaten voor de deelnemer wel of niet ontbreken.

  • Opmerking (deelnemer) (additionalInfo) = Aanvullende informatie over scores en resultaten van de onderwijsdeelnemer, bedoeld voor de medewerker die het resultaat doorzet in de administratie. Dit kan informatie bevatten over de toegepaste normering of reden van ontbrekend resultaat (bijvoorbeeld “Niet komen opdagen”, “Niet ingeleverd“ of “Ziek weggegaan”).

  • Resultaat (lijst) (results) = lijst van objecten Resultaat (object Result) met per object een resultaat of toetsresultaat door de onderwijsdeelnemer behaald bij toetsafname; resultaat omvat de combinatie Resultaatwaarde en Resultaattype, eventueel vergezeld door verwijzing naar het betreffende Toets of Toetsonderdeel.

  • Resultaattype (resultType) = Het type/soort resultaat. Waarde uit waardenlijst:

    • DLE = Didactische Leeftijd Equivalent

    • Beheersing = Aanduiding of beheersing voldoende of onvoldoende is (PassOrFail)

    • OVG = 1 letter uit {G, V, O} for Goed, Voldoende of Onvoldoende (OVG)

    • RnERK = Referentieniveau Europees Referentiekader voor talen; waarden A1 t/m C2.

    • RnTR = Referentieniveau Taal & Rekenen; waarden zijn Op weg naar 1F (Lager dan 1F), 1F t/m 4S.

    • Schoolcijfer 0-10 = geheel getal vanaf 0 t/m 10 (Grade0-10)

    • Schoolcijfer 0.0-10.0 = getal met 1 decimaal vanaf 0.0 t/m 10.0 (Grade0.0-10.0)

    • Percentiel = Percentielscore is het getal van 0 t/m 100 dat aangeeft hoeveel procent van de kandidaten de toetsscore van de student of een lagere toetsscore heeft behaald.

  • Resultaatwaarde (resultValue) = Het door de onderwijsdeelnemer behaalde resultaat; waarde voldoen aan Resultaattype.

  • Review-url (deelnemer) (reviewUrl) = Een URL naar de details over over scores en resultaten van de onderwijsdeelnemer in het Digitaal toetssysteem, soms ook wel 'deeplink' of 'submission review url' genoemd.

  • Score (lijst) (scores) = lijst van items van object Score (Score). Het object Score (Score) bevat een score of toetsscore van een specifieke onderwijsdeelnemer behaald bij de toetsafname in de combinatie Scoregetal en Scoretype, eventueel vergezeld door een Maximum score en verwijzing naar het betreffende Toets of Toetsonderdeel (Toets/onderdeel) en/of de Scoreschaal waarmee de omzetting van score naar resultaat wordt uitgevoerd.

  • Scoregetal (scoreValue) = De door de toetsdeelnemer behaalde score; waarde voldoen aan de richtlijnen voor de omzetting naar resultaat binnen Scoreschaaldefinitie.

  • Scoreschaal (verwijzing) (assessmentId) = Verwijzing naar de scoreschaal in scoreschaaldefinities dat voor betreffende score van toepassing is.

  • Scoretype (scoreType) = Het type/soort score. Waarde uit waardenlijst:

    • Aantal fout = score is het aantal fout gemaakte opgaven/toetsitems (NumberIncorrect)

    • Aantal goed = score is het aantal goed gemaakte opgaven/toetsitems (NumberCorrect)

    • Aantal opgaven = score is het aantal gemaakte opgaven/toetsitems (NumberItems)

    • Percentage goed = score is het percentage goed gemaakte opgaven/toetsitems (PercentageCorrect)

    • Scorepunten = score is het aantal behaalde scorepunten, veelal een getal in interval vanaf 0 tot en met maxscore/maximumscore (ScorePoints)

    • Tijdsduur = score is de tijdsduur van de toetsafname in seconden (DurationInSeconds)

    • Vaardigheidsscore = score is de vaardigheidsscore of ontwikkelscore (SkillScore)

  • Status (status) = Status van score/resultaat. Waarde uit waardenlijst:

    • Voorlopig (InProgress)

    • Definitief (Final),

    • Overbodig/vervallen (Canceled).

  • Toets (verwijzing) (assessmentId) = Verwijzing naar toets of toetsonderdeel dat score/resultaat betreft. Onderlinge relaties binnen de toets worden in toetsdefinities gedefinieerd.

• Medewerkers (verwijzing) = Lijst van verwijzingen naar schoolmedewerkers (in object EmployeeReference). Verwezen medewerkers zijn, indien nodig, in staat om dit resultaat door te zetten in de administratie.

• Opmerking (afname) (additionalInfo) = Algemene informatie over scores/resultaten in het bericht, bedoeld voor de medewerker die het resultaat doorzet in de administratie. Dit kan informatie bevatten over de toegepaste normering of over onregelmatigheden tijdens afname, bijvoorbeeld “Vogel in lokaal” of “Internetstoring”).

• Review-url (afname) (reviewUrl) = Een algemene URL naar de details over scores/resultaten in het Digitaal toetssysteem, soms ook wel 'deeplink' of 'submission review url' genoemd.

• School (school) = Verwijzing naar de onderwijsorganisatie of organisatie-eenheid (in object SchoolReference), die de opleiding aanbiedt waarbinnen de toetsafname heeft plaatsgevonden.

• Schoolperiode (schoolPeriod) = de periode waarin het onderwijs is ingedeeld (bijvoorbeeld schooljaar of semester) wat deze scores en resultaten betreft.

• Scoreschaaldefinitie (lijst) (scoreScaleDefinitions) = lijst van items met één scoreschaaldefinitie per item. De definitie van de verschillende toepasbare scoreschalen, met per scoreschaal de omzetting van score naar resultaat door de lijst van combinaties LHS en RHS. LHS (Left Hand Side) definieert het score-interval met beginwaarde en eindwaarde gescheiden door streepje, bijvoorbeeld “0-5“; RHS (Right Hand Side) definieert de resultaatwaarde als scoregetal binnen bijbehorende score-interval valt, bijvoorbeeld “Onvoldoende“.

• Timestamp (timstamp) = het moment (datum met tijdstip) van samenstellen van het bericht.

• Toetsdefinitie (assessmentDefinition) = De definitie van de betreffende toets en toetsonderdelen, Zowel toets als toetsonderdeel omvat de gegevens Toetsid en Toetsnaam. Binnen de toets is eventueel ook informatie over betreffende Vakgebieden en Niveau van de toets beschikbaar en binnen een toetsonderdeel is er ook het Volgnummer beschikbaar om de volgorde van de onderdelen in de toets te specificeren. Voor landelijk genormeerde toetsen wordt voor Toetsid een centrale waardenlijst aanbevolen, zoals de OSO toetscodelijst in het po en vo,

• Systeemnaam (toolName) = De naam van tool/systeem als verzender van de scores en resultaten.

De gegevens betreffende Berichtid, Afnamemoment, Toetsdefinitie, Medewerkerids, School, Schoolperiode en Timestamp zijn verplicht; de gegevens Systeemnaam, Scoreschaaldefinities en Deelnemerscores en -resultaten zijn aanbevolen; gegevens Review-url en Opmerking zijn optioneel. Per Deelnemerscores en resultaten zijn de gegevens Dsenrid en Onderwijsdeelnemerid verplicht; Resultatenlijst, Ontbrekend, Scorelijst en Status zijn aanbevolen; gegevens Review-url en Opmerking zijn optioneel.

Bovenstaande informatie-elementen zijn informatieobjecten en de belangrijkste attributen. De informatieobjecten zijn als volgt gestructureerd in een conceptueel informatiemodel:

Bovenstaande informatiemodel biedt de volgende mogelijkheden om per onderwijsdeelnemer de volgende scores en/of resultaten van een toets (of examen) uit te wisselen:

1. Geen scores of resultaten: ontvanger noteert ontbrekende score met mogelijke reden in opmerking, (bijvoorbeeld omdat hij/zij niet aanwezig was bij de toetsafname),

2. Alleen score (zonder scoreschaal): ontvanger slaat score op en resultaat kan wel of niet berekend worden omdat scoreschaal impliciet of onbekend is,

3. Score met scoreschaal: ontvanger slaat score op en berekent resultaat met scoreschaal,

4. Score en resultaat (zonder scoreschaal): ontvanger slaat score en resultaat op,

5. Score en resultaat (met scoreschaal): ontvanger slaat score en/of resultaat op en kan resultaat controleren/bepalen met scoreschaal,

6. Score en meerdere resultaten (zonder scoreschaal): ontvanger slaat score en resultaten op,

7. Score en meerdere resultaten (met scoreschaaldefinities per resultaat): ontvanger slaat score en resultaten op en kan resultaten niet geautomatiseerd controleren (eventueel hiervoor het informatieobject “Deelnemerscores en -resultaten” opsplitsen per resultaat),

8. Alleen resultaten (zonder scores): ontvanger slaat resultaten op en heeft geen scores.

Interactie

Het gegevensbericht “Toetsresultaten” wordt aangeleverd bij het Administratiesysteem leerresultaten in een Push-bericht met als verzoek de gegevens te verwerken. Mogelijke aanleidingen (triggers) voor deze overdracht zijn:

• De toetsafname is afgerond en de toetsscores worden direct overgedragen (groepsgewijs of eventueel individueel).

• De resultaten van de toetsafname zijn beoordeeld en genormeerd zodat de toetsresultaten worden vrijgegeven.

• Een schoolmedewerker geeft opdracht de toetsresultaten over te dragen.

In het antwoord op dit verzoek wordt alleen teruggemeld of het bericht in goede orde is ontvangen. In een foutsituatie wordt dit zo goed mogelijk in de terugmelding in het antwoordbericht teruggegeven. Mogelijke foutsituaties zijn: geen schoolmandaat verstrekt, geen toestemming/activering van de gegevensuitwisseling of het bericht voldoet niet aan de technische eisen (verplicht gegeven ontbreekt of gegevenswaarde voldoet niet aan de definitie).

Administratiesysteem leerresultaten gaat de toetsresultaten verwerken. Er wordt geen terugmelding gegeven van het verwerkingsresultaat van deze toetsresultaatgegevens in de administratie. Het Administratiesysteem leerresultaten kan eventueel inbouwen dat voor het doorzetten een handeling van de gebruiker (medewerker) nodig is.

Schematisch ziet dit interactiemodel er als volgt uit:

Bovenstaande interactiemodel gaat uit van één gegevensbericht per individuele onderwijsdeelnemerscores en/of -resultaten. Het interactiemodel ziet er voor het gebundelde bericht uit als in onderstaande Figuur 6.

Middels bovenstaande interactie is het mogelijk om nieuwe scores en resultaten over te dragen. En het is ook mogelijk om een eerder verstuurde object van “Deelnemerscores en -resultaten” (StudentScoresAndResults) te wijzigen of te verwijderen. Belangrijk hierbij is het betreffende id van dit eerdere object in het object met de wijziging/verwijdering te specificeren. Verder moet ook de wijzigingsdatum (dateLastModified) worden gespecificeerd. Voor het verwijderen van het object moet Status de waarde “Overbodig/vervallen” (Canceled) krijgen.

Voorafgaande aan deze uitwisseling, voordat de toets wordt afgenomen, vindt de uitwisseling van de schoolgegevens plaats, inclusief betreffende Onderwijsdeelnemers en Medewerkers.

Randvoorwaarde: Onderwijsinrichting, Onderwijsdeelnemers en Onderwijsmedewerkers informatie

Randvoorwaardelijk voor het kunnen uitwisselen van het Toetsresultaat is dat de informatie over schoolperiodes, inschrijvingen, toewijzingen en de persoonsgegevens van onderwijsdeelnemers (leerlingen/studenten) en onderwijsmedewerkers (leraar/administrateur) worden uitgewisseld. Deze uitwisseling is van referentiecomponent Administratiesysteem onderwijsdeelnemer en Administratiesysteem onderwijsmedewerker naar de referentiecomponent Digitaal toetssysteem.

Randvoorwaarde: Regie op gegevens door Onderwijsorganisaties

Om Leerresultaten uit te kunnen wisselen is het van belang dat de gegevensuitwisseling tussen de Leveranciers is geactiveerd. De regie op gegevens is uniform voor alle gegevensuitwisselingen beschreven.

Voor dit proces betreft het de volgende eisen:

• Een aantal gegevensdiensten zijn vertrouwelijk en vereisen een Verwerkersovereenkomst tussen de Onderwijsorganisatie en de Leverancier.

  • Het betreft de gegevensdiensten:

    • Onderwijsinrichting

    • Onderwijsdeelnemers

    • Onderwijsmedewerkers

    • Leerresultaten

  • De Onderwijsorganisatie heeft derhalve een Verwerkersovereenkomst gesloten met de Leveranciers met de referentiecomponenten:

    • Administratiesysteem onderwijsdeelnemer

    • Administratiesysteem onderwijsmedewerker

    • Administratiesysteem leerresultaten

    • Digitaal toetssysteem

    • Leermiddelendashboard

• De Onderwijsorganisatie heeft de uitwisseling van gegevens geactiveerd conform bovenstaande tabel. Voor meer informatie zie de sectie Regie op gegevens voor de implementatievarianten met een Verzender en Ontvanger.

Randvoorwaarde: Leveranciers zijn (technisch) op elkaar aangesloten

Voor iedere gegevensuitwisseling geldt dat deze bilateraal plaatsvindt tussen Leveranciers. In de architectuur is voor de M2M gegevensuitwisselingen uitgewerkt op welke wijze gegevens uitgewisseld kunnen worden.

Technisch: APIs

Voor dit proces is de volgende technische interfacedefinitie relevant:

• Students API

• Employees API

• Education API

• Association API

De technische interfacedefinitie van het bovenstaande is vastgelegd in:

• Results API

Release notes