Blog van april, 2024

Digitaal examineren met Facet

Facet is het computerexamensysteem van de overheid waarin de digitale toetsen en examens afgenomen worden waar het College voor Toetsen en Examens verantwoordelijk voor is. Facet is vanaf 2011 in opdracht van het CvTE ontwikkeld door DUO als leverancieronafhankelijk alternatief voor Examentester, dat tot 2015 gebruikt werd voor het afnemen van digitale examens.

Facet levert digitale voorzieningen voor het ketenproces: Examineren, Toetsen en Oefenen.
Dit ketenproces, en daarmee Facet, levert een bijdrage in de wettelijke taak van het College voor Toetsen en Examens om, namens de overheid: - De kwaliteit van de centrale toetsen en examens die onder zijn verantwoordelijkheid vallen te waarborgen. - Om scholen en instellingen in staat te stellen de afname van examens en toetsen vlekkeloos te laten verlopen.

Het ketenproces bestaat uit 5 processtappen:

• het construeren en vaststellen van nieuwe of gewijzigde toetsen en examens;

• het plannen van een afname op een afnamelocatie;

• het afnemen van een toets of examen door een kandidaat op een afnamelocatie;

• het analyseren van de afname(resultaten) en

• het rapporteren over de afname(resultaten).

Facet bestaat uit een samenhangende set van applicaties. Ieder applicatie levert een bijdrage aan één of meerdere processtappen.

Wat kenmerkt Facet

Facet waarborgt dat het systeem, ongeacht het device, de toets weergeeft zoals de constructeur het heeft bedoeld.

Daarnaast is er met de ontwikkeling van de BCLD (Bootable Client Locked-Down) ingezet op het voorkomen van risico’s op lekken van exameninhoud of het oneigenlijk verkrijgen van informatie. Hierbij is het besturingssysteem als ‘bastion’ ingericht. Dit betekent dat de gebruiker op het device alleen datgene kan doen dat hem is toegewezen. Uitbreken naar internet is bijvoorbeeld onmogelijk gemaakt.

Vanaf schooljaar 2022~2023 is de BCLD vernieuwd. Het tot dan gebruikte besturingssysteem van de BCLD, Fedora, werd vervangen door het besturingssysteem Ubuntu.

De reden hiervoor: Ubuntu is verder doorontwikkeld zodat het minimaal dezelfde functionaliteiten kan aanbieden als Fedora. Ten opzichte van Fedora levert Ubuntu voor Facet nog een aantal extra voorzieningen die wij voor onze eindgebrukers als essentieel zien:

• Ubuntu heeft een bredere open source hardware support. Dat betekent voor de gemiddelde eindgebruiker dat de BCLD probleemloos is in te zetten op meer dan 95% van de gebruikte hardware. Door de langere onderhouds cyclus van Ubuntu is het makkelijker om nieuwere kernels in te zetten tijdens het schooljaar zodat ook nieuwe(re) hardware beter kan worden ondersteund.

• Machines die met de Fedora variant niet (goed) konden werken, blijken doorgaans goed te functioneren met de Ubuntu variant van de BCLD.

• Aanpasbaarheid van de client in geval er machines zijn die niet 'out of the box' werken. Mocht het noodzakelijk zijn om de BCLD aan te passen kan dat vrij snel worden gedaan door onze BCLD ontwikkelaar.

• Ubuntu levert lang support op hun LTS releases (tot 5 jaar).

• Tegenwoordig wordt Fedora als een 'testing' platform gezien. Pas als nieuwe features stabiel en veilig werken worden deze beschikbaar gesteld voor andere Linux distributies. Zodoende kan Ubuntu stabieler overkomen.

• Met de Ubuntu BCLD is het mogelijk om PXE te gebruiken i.c.m. Secure Boot (Inrichten en instelling netwerk valt onder de verantwoordelijkheid van de school. Wij kunnen hierin slechts orienterend acteren).

Facet kenmerkt zich ook doordat afnames op andersoortige machines kunnen plaatvinden, Facet beweegt mee in het veranderende hardware landschap:

• Voor nieuwe(re) Mac computers is er een Mac OS Afname App beschikbaar (ook voor M1/M2/M3 platformen). Deze draait in de Assessment mode van het Mac OS systeem. Dit is een door Apple ontwikkelde 'beoordelings modus'. In deze beoordelingsmodus worden bepaalde hardware- en softwarefuncties uitgeschakeld om te voldoen aan de vereisten voor een afgeschermde toetsomgeving én om te voorkomen dat degene die de toets aflegt, andere apps gebruikt, waardoor de toetsuitslag ongeldig zou zijn. Daarbovenop komen nog extra veiligheidseis eisen van Facet.

• Voor Chromebooks is er een speciale Chromebook Afname App beschikbaar, ook wel CrOS App genoemd. Via het MDM van de school kan de App aan de Chromebook worden toegevoegd waardoor de App in een afgeschermde omgeving draait. Daarbovenop komen nog extra veiligheidseisen van Facet

Actuele ontwikkelingen

Sinds de zomer 2023 is Facet 12 operationeel voor het schooljaar 2023~2024.

De ontwikkelagenda voor Facet wordt gestuurd vanuit het portfolio van het College voor Toetsen en Examens. Dit portfolio wordt in overleg met OCW, CvTE-sectoren en ketenpartners opgesteld.

Speerpunten zijn:

• Facet operationeel én stabiel houden in productie.

• Het aanbrengen van de noodzakelijke verbeteringen in stabiliteit, modulariteit en schaalbaarheid.

• Kandidaten met een beperking: Er wordt onderzocht, of en zo ja welke aanpassingen in Facet nodig zijn om ook kandidaten met een beperking op een verantwoorde wijze (digitale) examen te kunnen laten doen. Scholen die kandidaten met een beperking willen laten afnemen in Facet kunnen contact opnemen met de Helpdesk om een aangepaste client te mogen gebruiken (de Helpdesk verstrekt hierbij o.a. de voorwaarden voor het gebruik van deze client)

Hoe het begon en eindigde

Gedurende de eerste Facet jaren is er een Afname applicatie geweest voor Mac computers dat draaide op het besturingssysteem van Apple zelf:
OS updates zorgden er regelmatig voor dat de applicatie opnieuw gebouwd moest worden omdat de updates zorgden voor instabiliteit of het helemaal niet meer werken van de applicatie. Apple hield daarnaast de toegang tot de broncode van het OS volledig tegen, waardoor aanpassingen aan de afname app niet altijd de gehoopte stabiliteit boden.

Het gebrek aan toegang tot de broncode zorgden er ook voor dat er geen mogelijkheid bestond om de afname-omgeving te beveiligen. Om een afname applicatie veilig te maken, zodat er bijvoorbeeld geen toegang tot internet is tijdens een afname moeten bepaalde systeemprocessen door de afname applicatie beheerd worden. Door het gebrek aan toegang tot het OS was dit niet mogelijk. Deze combinatie van factoren betekende dat er geen sprake kon zijn van continuïteit van afname(mogelijkheden) op het Apple platform. Daarnaast zorgen updates er ook voor dat de weergave van examens niet altijd was zoals de toetsconstructeur het bedoeld had.

Mede daarom werd de BCLD werd als nieuwe afname client geïntroduceerd: Deze client was veilig, volledig controleerbaar en open source (Linux). Omdat Facet de BCLD ontwikkelt, heeft Facet volledige controle over de BCLD en dus ook over de veiligheid mechanismen van deze client. De BCLD draait daarnaast volledig in het RAM geheugen van de machine en is er dus geen afhankelijkheid van het originele OS. Apple gebruikte daarnaast in die periode standaard hardware, Intel based (X86-64 bit hardware), wat met open source drivers aangestuurd kon worden. De 'hofleverancier' van Apple, Broadcom, leverde daarnaast ook zelf support aan de Linux community. Zodoende kon ook op Apple hardware de BCLD afname client zonder problemen draaien.

De BCLD heeft een aantal jaren stabiel gedraaid op Mac computers. Apple bracht echter een ander hardware beleid waardoor de BCLD uiteindelijk niet meer kon worden ingezet voor afnames op Mac computers. Zie [Informatie]. Apple had inmiddels wel het beleid t.o.v. ontwikkelaars verbeterd én een nieuwe functie in het Mac OS systeem aangebracht die theoretisch voor afnames ingezet kon worden: Deze functie wordt door Apple de Assessment mode genoemd. [OS_Afname_App.3F|Info]

Wat heeft Apple aangepast waardoor de BCLD niet meer kan worden ingezet?

Zoals aangegeven heeft sinds enkele jaren geleden het hardware beleid aangepast. Er werd en wordt steeds meer aan 'hardware engineering' gedaan. De computers werden daardoor steeds minder toegankelijk gemaakt voor andere besturingssystemen zoals Linux, waar de BCLD op is gebaseerd.

Zo werd door Apple onder meer standaard hardware ingekocht (de eerder genoemde X86-64 hardware) maar werd deze hardware in-house aangepast. De nieuwe hardware specificaties werden niet gedeeld (deze gingen zogezegd de kluis in) waardoor drivers die voor de standard hardware wel bruikbaar waren niet voor de aangepaste Apple hardware kon worden ingezet. Bepaalde series Macbooks werden daarnaast voorzien van een touchbar. Deze touchbar gebruikt feitelijk een (wederom niet gedeeld) eigen besturingssysteem met daaraan gekoppeld een (gedeeltelijke) aansturing van het toetsenbord en trackpad. Dit touchbar mechanisme kan niet (goed) door Linux worden aangestuurd waardoor toetsenbord en (track)pad niet functioneren.

Naast de eerder genoemde oorzaken zoals hardware engineering, ging Apple nog een stapje verder: De hardware voor nieuwe machines werd op beveiligingsniveau aangepast middels een T2 chipset. Hiermee werd niet alleen de hardware beveiligd, ook hun eigen firmware staat in principe alleen nog Apple's eigen software toe (In bootcamp kan nog wel een Microsoft OS worden toegepast). Voor een OS zoals Linux wordt het daarmee vrijwel onmogelijk gemaakt om met open source software een Mac computer te starten.

Daarnaast heeft Apple een eigen hardware platform ontwikkeld, gebaseerd op het Silicon platform. Hier draait de BCLD hoe dan ook niet op. De ondersteuning op deze Silicon harware is onder Linux zeer marginaal te noemen.

Mede door dit hardwarebeleid en het eigen hardware-platform van Apple, werd het steeds moeilijker om op Apple devices een eigen besturingssysteem te kunnen starten zoals de BCLD. Dit zorgde ervoor dat afnames in Facet, zoals OCW DUO en CvTE het voor ogen hebben qua veiligheid en afnamegelijkheid, op Apple devices steeds minder vanzelfsprekend werden en uiteindelijk niet meer mogelijk waren.

Op oudere Mac computer (pre-2016 modellen) was het nog wel lang mogelijk om een BCLD te starten. Echter, de huisleverancier van Apple, Broadcom, investeerde steeds minder in Linux en de Linux community (uiteindelijk is dit volledig stopgezet). Hierdoor begon de software die beschikbaar was voor de Apple hardware, steeds meer uit de pas te lopen met nieuwere versies van Linux - Nieuwere Linux versies vereisen uiteraard ook nieuwe drivers en firmware om de oudere Macs te kunnen blijven gebruiken. Een gevolg hiervan was onder meer: WiFi chipsets die niet werkten, geluid wat niet werkt, schermen die geen beeld weergeven.

Door uitblijven van nieuwe Broadcom drivers is inmiddels ook de mogelijkheid om op deze oudere systemen de BCLD te kunnen starten goeddeels weggevallen. Facet implementeert elk jaar een nieuwe BCLD met updates van het interne OS, nieuwe(re) kernels en bootloaders. Inmiddels zijn de beschikbare (oude) Broadcom drivers zover uit de pas gaan lopen t.o.v. van de nieuwe ontwikkelingen en eisen die nieuwere Linux besturingssystemen met zich meebrengen, dat afnames met de BCLD niet meer ondersteund kunnen worden vanuit Facet.

De Assessment Mode van OS X

Apple heeft (vrij) recentelijk een Assessment Mode ingebouwd in onder meer OS X. Deze Assessment Mode is in principe bedoeld voor toets en inzage functionaliteit. Een dergelijke functionaliteit is vereist om in Facet te kunnen afnemen en een dergelijke functie gebruiken wij normaliter ook in onze eigen afname client zoals de BCLD.

De Assessment mode 'vergrendelt' Macs automatisch, om te voorkomen dat leerlingen andere apps of voorzieningen raadplegen. Uitstapjes maken zoals naar het Internet gaan worden hiermee zoveel mogelijk voorkomen.

Aparte instellingen voor MDM (Mobile Device Management) zijn daardoor niet nodig. Hardwareknoppen en voorzieningen zijn zoveel mogelijk uitgeschakeld.

Onderdelen die normaliter uitgeschakeld worden door de Assessment mode zijn onder andere:

• Dock

• Menu balk

• Exposé & Spaces

• Mission Control

• Applicaties starten met functietoetsen

• Meldingen

• Muziek app (voorheen iTunes)

• Handoff

• Universele Clipboard

• Camera

• Scherm delen

• Screenshots maken

• Etc...
  

De Mac OS Afname App is bedoeld om geïnstalleerd te worden als een single app. Dat wil zeggen dat deze lokaal geïnstalleerd dient te worden. De App is dan ook niet ontworpen (of getest) om uitgerold te worden via het netwerk. Waarschijnlijk is dit wel mogelijk, maar dan nog dient elke client wel zo ingericht te zijn dat de afnameveiligheid en mogelijkheid tot uitbreken zoveel mogelijk wordt beperkt (in principe volgens de stappen in de handleiding).

De Assessment Mode en touchbar

Alhoewel de Assessment mode een flink aantal applicaties op de Mac uitschakelt, zal de touchbar (vrijwel) onaangeroerd blijven. Aangezien de touchbar en diens functionaliteiten niet binnen de veiligheid eisen van Facet valt wat betreft afnameveiligheid en afnamegelijkheid, moet de touchbar worden aangepast (zoveel mogelijk worden uitgeschakeld) vóórdat er gebruik gemaakt mag gaan worden van de Mac OS Afname App. Hoe dit gedaan moet worden staat in de handleiding van de Mac OS Afname App uitgelegd. Dit zijn globale stappen en kunnen per OS versie (licht) verschillend zijn.

In elk geval worden de volgende eisen gesteld indien er gebruik gemaakt gaat worden van de Mac OS Afname App i.c.m. een touchbar model:

• Touchbar instellen als functie toets F1 t/m F12

• Siri volledig uitschakelen

• Voice Over volledig uitschakelen

En nu dus de Mac OS Afname App gebruiken?

Facet heeft, ondanks beperkingen vanuit Apple (beleid), toch de wens om Mac gebruikers een mogelijkheid te bieden om afnames te kunnen doen in Facet op hun eigen hardware. Daarom is er besloten om een nieuwe Afname App te ontwikkelen die gebruik maakt van de in OS X ingebouwde Assessment mode, maar die wel op een eigen ontwikkeld framework draait zodat examen en toetsweergaves zoveel mogelijk worden gegarandeerd.

Zoals al eerder aangegeven genereert de Assessment Mode een Lockdown functie. Deze Lockdown functie is helaas niet zo veilig als de Lockdown functionaliteit van de BCLD. Immers, de BCLD en diens OS draait volledig in het RAM geheugen waardoor we volledige controle over de afname omgeving hebben. Over het Apple besturingssysteem hebben derde partijen zoals Facet en diens ontwikkelaars maar beperkte controle. Alhoewel een volledig veilige omgeving hierdoor niet zomaar is te garanderen, mag er onder bepaalde voorwaarden wel met de Mac OS Afname App afgenomen worden; Wordt de Mac OS Afname App ingezet? Dan verwachten wij wel dat de afnamelocaties ook hún best doen om de afname zo veilig mogelijk te laten verlopen. Wij hebben dan ook deze voorwaarden in de handleiding van de Mac OS Afname App verwerkt. | Klik

Er zijn punten waar wij géén directe controle over hebben;

• Wij kunnen niet sturen wat de ingebouwde Assessment mode blokkeert of afvangt.

• Wij kunnen niet ingrijpen in het besturingssysteem om zodoende afnameveiligheid te garanderen.

• Omdat de App draait 'op' een reeds bestaand besturingssysteem, is het niet mogelijk om alles af te vangen en te registreren in de Mac OS Afname App.

• De App is ontwikkeld om lokaal geïnstalleerd te worden. De App is niet ontwikkeld en niet getest op het uitrollen/inspoelen via het netwerk. We kunnen daarom ook niet garanderen dat het uitrollen gaat werken, noch kunnen wij daar ondersteuning op geven.

• Mac OS ondersteunt vanaf 13.04 Ventura alle functies die worden gebruikt in afnames. Hierdoor betekent het dat echt 'oude' Mac computers buiten de boot vallen. Hier kunnen wij echter niets aan veranderen. Hier kunt u controleren of uw Mac kan werken met Ventura.

Daarom geldt het principe: quid pro quo. Wij bieden een voor het OS X platform ontwikkelde afname applicatie. Om een volledig veilige afname-omgeving te bieden geldt dat scholen aan bepaalde voorwaarden/eisen moeten voldoen:

• De MacOS Afname App wordt ingesteld en gebruikt zoals beschreven in de handleiding. | Klik

• De afname locatie draagt zorg voor het aanbieden van een zo veilige mogelijke afname omgeving waardoor er gelijke afname/gelijke afnameomstandigheden voor een ieder wordt gegarandeerd.

• De afname locatie is ook verantwoordelijk voor het veilig afnemen van toetsen en examens wanneer de Mac OS Afname App wordt gebruikt.

• De afname locatie draagt er ook zorg voor dat kandidaten niet uitbreken uit een toets/examen of op een andere manier antwoorden kunnen opzoeken dan is voorgeschreven.

• De afname locatie draagt zorg/is verantwoordelijk dat de inhoud van de examens (zoals vragen, teksten en antwoorden) die met de MacOS Afname App worden afgenomen niet uitlekken (op welke manier dan ook).

Dit betekent ook dat als blijkt dat de Mac OS Afname App niet op de voorgeschreven manier wordt ingezet, hier consequenties uit kunnen voortvloeien. Het is aan het CvTE om te bepalen welke dit zijn. (technische) mogelijkheden zijn bijvoorbeeld het blokkeren van de Mac OS Afname App op Facet afname-omgevingen.

Wat zijn de systeemeisen voor Mac OS Afname App?

• Pas de instellingen zo aan dat de Touchbar functietoetsen toont en dat de voiceover uit staat. Meer informatie daarover vindt u in de handleiding voor de Mac Afname App.

• Bij een scherm met een resolutie die hoger is dan 1024 x 768 is schaling nodig om ervoor te zorgen dat de inhoud van Facet (lettergrootte, video, afbeeldingen) beeldvullend wordt weergegeven. In de handleiding van de Mac Os Afname App staat aangegeven hoe u dit kunt doen.<l/li>

• Het kiezen voor een draadloze omgeving is de verantwoordelijkheid van de examen locatie.

• Wij adviseren examenlocaties op dit moment om in een draadloze omgeving de examenafnames zeer goed te testen met de systeemcheck en bij twijfel uit te wijken naar een bekabelde omgeving.

• Voor het streamen van multimedia is 2 Mbit/s bandbreedte noodzakelijk per kandidaat. De performance van een draadloos netwerk is sterk afhankelijk van omgevingsfactoren. Test het draadloze netwerk goed voor er afnames worden afgenomen!

• Het CvTE/Facet is niet verantwoordelijk voor de werking van het draadloze netwerk!