Project VISNUE-TWEE
Het zelftestsysteem

S. Van de Laer, A. Bultheel

19 november 2002;
Revisie 4 September 2003





http://nalag.cs.kuleuven.be/research/ALpubs/AL18.abs.shtml

Samenvatting:

We geven een technische beschrijving van het zelftestsysteem, ontwikkeld in het project VISNUE-TWEE. Het genereert random testen die feedback naar de gebruiker toelaat. Er zijn 5 verschillende vraagtypes mogelijk. Het belangrijkste element is dat de informatie over het gebruik van het systeem door de student bijgehouden wordt. Het is de bedoeling om in een doctoraatsonderzoek de effecten van een dergelijk systeem te onderzoeken, waarvoor de opgeslagen informatie essentieel is. De interface naar de docent en de manager van het systeem is bewust primitief gehouden omdat het niet de belangrijkste bedoeling van het systeem is om het zelftestsysteem te ontwikkelen, maar wel om de nodige informatie te verzamelen voor het didactisch onderzoek.

Wat is het zelftestsysteem?

Het zelftestsysteem bestaat uit een verzameling vragen, ingedeeld volgens onderwerp en moeilijkheidsgraad, waaruit de student een toets kan vragen. De student moet hierbij aangeven hoeveel vragen hij/zij wenst, van welke moeilijkheidsgraad (-graden) en over welk onderwerp. A.h.v. deze informatie worden een aantal vragen willekeurig gekozen. Voor sommige vragen kan de student een hint vragen. Na het oplossen van de vragen krijgt hij/zij dan terugkoppeling, minimaal in de vorm van een score, het gegeven antwoord en het juiste antwoord. Deze feedback kan uitgebreid worden met een vraagspecifieke terugkoppeling naar aanleiding van veel gemaakte fouten (ook bv. fouten tijdens oefenzittingen of bij taken) of verwachte problemen die bij het opstellen van de vraag reeds geïdentificeerd werden.
Het zelftestsysteem is te vinden via de website van numerieke wiskunde of rechtstreeks a.h.v. volgende URL: http://nalag.cs.kuleuven.be/questnumir/

Doelstellingen.

Het zelftestsysteem moet de student toelaten om na te gaan hoever hij/zij al staat met het verwerken van de leerstof. A.h.v. de feedback kan de student zich ook plaatsen in de groep medestudenten.
Bovendien is deze zelfevaluatie ook een leermoment. Via hints en feedback wordt de student op weg geholpen naar het vinden van het juiste antwoord en kan hij/zij dus ook leren om gelijkaardige vragen zelfstandig op te lossen.
Het zelftestsysteem kadert in het idee van begeleide zelfstudie; studenten worden op weg geholpen om zelfstandig na te gaan of ze de leerstof begrijpen en leren hierdoor ook hun leerproces bewaken en bijsturen (metacognitief niveau). Bovendien heeft dit systeem als voordeel dat het weinig arbeidsintensief is in vergelijking met oefensessies waarbij studenten vragen krijgen die achteraf besproken worden, omdat de student zelfstandig kan werken en feedback krijgt, en dus enkel bij problemen zal (of kan) terugvallen op het didactisch team. Om studenten te demotiveren om alle vragen met hun oplossing gewoon af te drukken i.p.v. de test op te lossen, wordt het aantal vragen beperkt tot 10 per toets. Studenten kunnen zoveel toetsen vragen als ze wensen, maar door het willekeurig selecteren van vragen wordt afdrukken (met meermaals dezelfde vragen) veel minder interessant. Hierdoor blijft de test een leermoment/controlemoment voor de student.

Het waarom van de vernieuwing.

Met het vroegere zelftestsysteem (uit het VISNUE project, zie @L141, werd te weinig informatie bewaard om het systeem (didactisch) te kunnen evalueren. Aanpassen van dit systeem was mogelijk maar tijdsintensief. Daarom is het systeem herschreven naar zijn huidige vorm. In het nieuwe systeem wordt voor elk gebruik bijgehouden welke vragen gekozen zijn, wat de antwoorden waren, of er hints gevraagd werden, de duur van de sessie (opgesplitst in duur van het invullen en duur van het doornemen van de feedback), het gewenste aantal vragen (niet steeds gelijk aan het aantal vragen in de test), de gekozen onderwerpen en moeilijkheidsgraden, en indien de student dit ingevuld heeft, ook het mnummer van de student.
Net zoals voorheen wordt ook voor elke vraag het totale aantal voorkomens in de test bewaard en de totale score op deze vraag, evenals de hoogste en laagste score. Nieuw is dat ook de totale score met weglating van open antwoorden wordt bijgehouden en het aantal keren dat een vraag onbeantwoord is gebleven. Dit laatste om toe te laten dat studenten een realistisch gemiddelde krijgen wanneer anderen de vragen enkel bekijken en niet oplossen.

Gebruiksinformatie.

Gezien de wiskundige aard van de vragen die dikwijls wiskundige formules bevatten hebben we geopteerd om de vragen en de metainformatie (antwoord, hint, quotering, feedback, soort vraag) in te voeren via een soort LATEX-achtig formaat. Deze informatie wordt gestockeerd in een datbestand. Dit bestand kan enerzijds gebruikt worden om een via aangepaste LATEX-definities te verwerken met LATEX om ten behoeve van de docent een dvibestand te genereren met het overzicht van sommige of van alle vragen (zie verder bij all.tex). Anderzijds wordt dit bestand ook gebruikt om via LATEX2html om te zetten in een htmlbestand dat dan kan gebruikt worden om in een webtest te worden ingelast.

We hebben voor LATEX2html gekozen en niet voor een product als techexplorer omdat dit de installatie vergt van deze plug-in. Bovendien kunnen er bij elke nieuwe versie van de browser problemen ontstaan omdat de plug-in niet meer werkt. Zoals het systeem nu werkt kan de student met elke elementaire browser de test afleggen.

Het systeem heeft 3 soorten gebruikers

De student heeft een on-line handleiding beschikbaar in de map handl (zie verder). Er kunnen per sessie slechts 10 vragen geselecteerd worden.

De docent heeft dezelfde mogelijkheden als de student, maar hij kan eventueel alle vragen bekijken, daar waar de student beperkt blijft tot 10 vragen per sessie. Hij zal dit doen in een (sub)map docent (zie verder).
Ook voor het aanmaken van nieuwe vragen zal de docent moeten rekening houden met de verschillende vormen waarin vragen kunnen gesteld worden en de verschillende feedback die daarvoor mogelijk is (zie verder).

Deze handleiding is geschreven als een technische handleiding voor de manager die het systeem moet installeren en onderhouden.
Het hele systeem vereist een aantal perlscripts (plbestanden) die de nodige omzettingen en het onderhoud van de vragen in het systeem zullen organiseren. Deze staan ter beschikking van de docent of manager van het systeem.

Er zijn ook een aantal htmlbestanden die voor de interface met de student zorgen.

Een aantal incbestanden worden gebruikt om de informatie in te bewaren die gebruikt wordt om de gepaste htmlpagina te genereren voor de test.

De phpbestanden doen de eigenlijke verwerking waarbij dynamisch gegevens worden gegenereerd of opgeslagen.

Installatie.

Het algoritme voor de installatie is als volgt:

Het opgegeven pad mag namelijk geen symbolische links bevatten en public_html in de de thuismap van de gebruiker is een symbolische link, evenals <onderzoeksgroep> in de map research-groups.) Het systeem is dan klaar voor gebruik.

Uitpakken van zelftest.zip

Het bestand zelftest.zip moet uitgepakt worden om de benodigde bestanden te verkrijgen. Laten we de bij het uitpakken aangemaakte map de zipmap noemen. In deze zipmap kunnen we volgende bestanden terugvinden:

Een submap vraaglogs die voor http schrijfbaar moeten zijn en leesbaar voor degene die de statistieken zal verwerken. De veiligste manier om dit te realiseren is dat http eigenaar wordt en dat een groep gemaakt wordt waarin http en al wie toegang moet krijgen worden ondergebracht met lees en schrijfrecht. Een koppeling aan een gegevensbank zou een meer ideale oplossing zijn. In deze map komen gegevens omtrent het invullen van vragen. Deze map is initieel leeg en kan met de juiste instellingen gekopieerd worden naar een eventueel aan te maken map voor logging.

Een submap statistieken die de .html versie van de statistieken bevat na het aanmaken van de statistieken (tenzij anders geconfigureerd, zie verder).

Een submap statproginv die de .dat versie van de statistieken bevat na het aanmaken van de statistieken (tenzij anders geconfigureerd, zie verder).

Verder 2 submappen mnumcfg en mnumsessies die voor http schrijfbaar moeten zijn en leesbaar voor degene die de statistieken zal verwerken. Hierin zullen namelijk logbestanden bewaard worden voor de studenten. De mappen zijn leeg bij het opstarten, maar ze zijn handig indien men ze wil kopiëren met de juiste instellingen naar een eventueel aan te maken map voor logging. Alle mappen die voor http schrijfbaar moeten zijn, dienen ook te staan op een machine waar http quota heeft.

Verder vinden we nog enkele voorbeeldbestanden in de submap configinfo:

In de submap handl: In deze map wordt een handleiding van het systeem bewaard; dit is de gebruiksaanwijzing voor de student.

In de submap readme:

In de submap docent:

In de submap vbvragen:

Aanmaken van de hoofdmap, docentmap, logmap

De map waarin men de belangrijkste bestanden van het werkende systeem wil installeren noemen we de hoofdmap. De eenvoudigste manier om de hoofdmap aan te maken is de zipmap naar de hoofdmap kopiëren. Anders moet men een hoofdmap aanmaken en een minimum aan bestanden uit de zipmap kopiëren en aanpassen. De uitleg volgt in de volgende puntjes.

De docentmap is een map waar de docent alle informatie kan bekijken. De operaties in deze map uitgevoerd worden niet gelogd. Het kan een deelmap van de hoofdmap zijn. Om veiligheidsredenen zou men deze map bijvoorbeeld op een andere, voor de studenten niet bereikbare, plaats kunnen zetten. Het moet wel een map zijn die door de webserver bediend wordt.
Men kan deze aanmaken en in deze map een submap docent (door MakeAll.pl laten) plaatsen die een kopie is van de submap docent in de zipmap.

De logmap is een map waarin de loginformatie en de statistieken bewaard worden van de verschillende sessie die de studenten met het zelftestsysteem uitvoeren. Die kan ook op om het even welke plaats staan. De mappen mnumcfg en mnumsessies (voor gegevensregistratie van studenten) worden automatisch voorzien als er registratie van studentengegevens moet gebeuren en indien aan 1 van onderstaande voorwaarden voldaan is.
De map vraaglogs (voor gegevensregistratie van de vragen) wordt automatisch voorzien als er aan registratie van vraaggegevens wordt gedaan en indien aan 1 van onderstaande voorwaarden voldaan is. De mappen statistieken en statproginv (voor het aanmaken van statistieken) worden automatisch voorzien indien er gegevensregistratie van welke aard dan ook en aan 1 van onderstaande voorwaarden is voldaan.
Voorwaarden voor aanmaken van de gepaste mappen in de logmap:

In alle andere gevallen stopt de uitvoering van MakeAll.pl met een foutmelding. Indien er niet gelogd wordt, is de logmap (en alle submappen) overbodig. (Er kunnen dan immers ook geen statistieken worden gemaakt).

Voor het aanmaken van de hoofdmap zal men de volgende puntjes moeten uitvoeren.

Te kopiëren bestanden

Kopieer de bestanden MakeAll.pl, bevestig.htm, onderz.htm, mnr.htm, instructies.htm, index.php, formulier.html, vragen.php, controle.php, eindetest.php, pre.tex, defs.tex uit de zipmap naar de hoofdmap.
Kopieer de submap handl van de zipmap in de hoofdmap.
Als men ook statistieken wil, moeten ook de bestanden maakvraagstat.pl, maakipstat.pl en statzts.pl gekopieerd worden.

Zelf aan te maken bestanden

In de hoofdmap:

Instellingen van het zelftestsysteem in perlinvoer.cfg

Voor elke instelling staat een commentaarregel die aangeeft over welke instelling het gaat. Deze commentaarregels moeten behouden blijven.
Elke instelling staat op een aparte regel; eventuele emailadressen staan ook elk op een nieuwe lijn.
Het betreft (in deze volgorde) de volgende instellingen:

Uitvoeren van MakeAll.pl

Voer MakeAll.pl uit (perl MakeAll.pl).
(Let op: de hoofdmap moet bereikt zijn via een pad dat algemeen gekend is en zonder symbolische links - zie hoger!)

Voor elke vraag wordt nu een aparte map aangemaakt met de naam van de vraag zonder de extensie .dat (een map Q<nr> dus). In deze map worden alle bestanden nodig voor deze vraag geplaatst en ook het originele bestand Q<nr>.dat.
Tijdens de eerste uitvoering van MakeAll.pl zullen volgende bestanden worden aangemaakt:

De bestanden met extensie .cfg mogen in geen geval verwijderd of manueel aangepast worden zolang het systeem werkzaam is (met uitzondering van ondlijst.cfg, zie verder, en perlinvoer.cfg, zie hoger). Daarom dient het verwijderen van vragen te gebeuren door gebruikmaking van het perlscriptje verwijder.pl (zie verder).

Bekijken van de vragen voor de student

De student kan nu de test opvragen door naar de hoofdmap van het systeem te surfen. Hij maakt de gepaste keuze wat betreft aantal vragen, onderwerpen, en moeilijkheidsgraad. Hij kan de antwoorden opvragen en krijgt daarbij de nodige feedback. Zijn activiteit wordt geregistreerd voor latere verwerking.

Bekijken van de vragen voor de docent

Voor de docent is de mogelijkheid voorzien om alle vragen te bekijken met de opmaak zoals een student deze zou zien. Hiervoor zijn een aantal bestanden nodig, in een map docent die in de hoofdmap van het zelftestsysteem geplaatst wordt:

Vanzelfsprekend wordt het gebruik van de docent niet geregistreerd, zodat de docent geen scores (gemiddelde, hoogste, laagste,...) aanpast door zijn vragen te testen. Bovendien worden de vragen niet in willekeurige volgorde getoond, maar komen vragen in dezelfde volgorde als hun nummers (hogere vraagnummers komen na lagere).
Een docent kan alle vragen (eventueel per onderwerp en/of per moeilijkheidsgraad) opvragen door ``0'' vragen in te vullen. Deze keuze is gemaakt omdat in theorie eender welk aantal vragen mogelijk is (1 tot 999999), maar een systeem zonder vragen niet veel zin heeft. Daarom is 0 voor het aantal vragen geschikt om aan te geven dat alle vragen gewenst zijn.

Procedure voor het aanmaken van vragen.

Een gegevensbestand maken.

$-$ De structuur.

\question{type}
Er zijn 6 mogelijke vraagtypes, namelijk de enkelvoudige selectievraag (RBQ), de meervoudige selectievraag (MCQ), de invulvraag met woorden (FIQ), de invulvraag met getallen (NFI), de woordvraag (WQ) en de getalvraag (NQ).
\onderwerp{ondcijfer}
\diff{mlhcijfer}
\vraag
De vraagstelling. Zie verder bij de uitleg per vraagtype.
\type
vervolg van de vraagstelling.
Zie verder bij de uitleg per vraagtype.
\antw{antwoorden}
\score{scores}
\feedback{feedbacktype}
Zie verder bij de uitleg per feedbacktype.
\hint
De hint voor deze vraag.
\qend

Feedback en hint zijn optioneel en moeten dus niet vermeld zijn.

$-$ Onderwerp.

Dit is het argument ondcijfer van de hoofding \onderwerp{ondcijfer}.
Onderwerpen kunnen aangepast worden naar keuze in het bestand ondlijst.cfg; de onderwerpen in het voorbeeldbestand zijn als volgt:
Cijfer 1 = deel 1, hoofdstuk 1, inleiding.
Cijfer 2 = deel 1, hoofdstuk 2, foutenanalyse.
Cijfer 3 = deel 1, hoofdstuk 3, stelsels lineaire vergelijkingen.
Cijfer 4 = deel 1, hoofdstuk 4, veelterminterpolatie.
Cijfer 5 = deel 1, hoofdstuk 5, numerieke differentiatie.
Cijfer 6 = deel 1, hoofdstuk 6, numerieke integratie.
Cijfer 7 = deel 1, hoofdstuk 7, differentiaalvergelijkingen.
Cijfer 8 = extra, splines.
Cijfer 9 = deel 2, hoofdstuk 1, inleiding.
Cijfer 10 = deel 2, hoofdstuk 2, niet-lineaire vergelijkingen.
Cijfer 11 = deel 2, hoofdstuk 3, stelsels niet-lineaire vergelijkingen.
Cijfer 12 = deel 2, hoofdstuk 4, iteratief oplossen van stelsels lineaire vergelijkingen.
Cijfer 13 = deel 2, hoofdstuk 5, veeltermvergelijkingen.
Cijfer 14 = deel 2, hoofdstuk 6, berekenen van eigenwaarden.
Cijfer 15 = deel 2, hoofdstuk 7, optimisatie van een functie in 1 veranderlijke.
Cijfer 16 = deel 2, hoofdstuk 8, optimisatie van een functie in meerdere veranderlijken.
In het bestand ondlijst.cfg staan alle onderwerpen volgens oplopend nummer gesorteerd, waarbij elk onderwerp op een nieuwe regel staat en het eerste onderwerp het cijfer 1 krijgt toegewezen. Indien er aan dit bestand een wijziging gebeurt, dienen de nodige vragen mee aangepast te worden. Bv. hernoemen van deel 2, hoofdstuk 1, inleiding naar deel 2, inleiding betekent dat alle vragen van deel 2, hoofdstuk 1 opnieuw gegenereerd moeten worden.
Tussenvoegen van een onderwerp houdt in dat alle vragen van het nieuwe onderwerp en alle vragen van onderwerpen met een hoger nummer zullen moeten aangepast worden; analoog voor verwijderen van een onderwerp.
Achteraan toevoegen van een nieuw onderwerp brengt geen specifieke extra vragen mee die opnieuw behandeld moeten worden.

$-$ Moeilijkheidsgraad.

Dit is het argument mlhcijfer van de hoofding \diff{mlhcijfer}.
Cijfer 1 voor eenvoudige vragen, cijfer 2 voor gewone vragen en 3 voor moeilijke vragen.

$-$ Bespreking van de vraagtypes.

$-$ Bespreking van de feedbacktypes.

Een vraag toevoegen.

Een vraag aanpassen.

Kopieer of verplaats het datbestand uit de map Q<nr> met <nr> het nummer van de vraag weer naar de map waarin MakeAll.pl staat. Belangrijk: verwijder in geen geval de map Q<nr>. Pas het datbestand aan en voer MakeAll.pl opnieuw uit.
(Let op: de hoofdmap moet bereikt zijn via een pad dat algemeen gekend is, bv.
wel /home/<gebruiker>/intern_html/hoofdmap
maar niet /export/home1/<gebruiker>/intern_html/hoofdmap
en wel /cw/wwwserver/extern/users/<gebruiker>/public_html/hoofdmap
maar niet /home/<gebruiker>/public_html).
De vraag is nu in zijn nieuwe vorm beschikbaar voor het zelftestsysteem.

Een vraag verwijderen.

Belangrijk: verwijder de vraag in geen geval zonder gebruik te maken van het Perlscript verwijder.pl. Voer verwijder.pl uit (perl verwijder.pl map1 map2 map3) waarbij de namen van alle te verwijderen mappen opgegeven worden, bv.: perl verwijder.pl Q000001 Q000003 Q000045.

Beveiligde toegang.

Beveiligde toegang kan afgedwongen worden op verschillende manieren. De eenvoudigste is een paswoordbeveiliging. Hiervoor kan een bestandje .htaccess aangemaakt worden in de map docent, wat volgende informatie bevat: 
AuthName "Zelftestsysteem VISNUE"
AuthType Basic
AuthUserFile <absoluutpad>.htpasswd
require valid-user
Hierbij is <absoluutpad> het absolute pad tot aan het paswoordbestand. Om veiligheidsredenen mag dit paswoordbestand niet in dezelfde map staan als het bestandje .htaccess.
Vervolgens voer je het commando htpasswd -c <relatiefpad>.htaccess <login> uit; er wordt nu een paswoord gevraagd voor de betreffende login en daarna bevestiging van het paswoord. Alle volgende gebruikers voeg je toe zonder een nieuw paswoordbestand aan te maken a.h.v. het commando htpasswd <relatiefpad>.htaccess <login>, waarbij ook paswoord en bevestiging gevraagd zullen worden.
Een tweede methode voor beveiliging is het verplaatsen van de map docent naar ergens waar reeds beveiligde toegang is.

Studentenlogging.

Alle geregistreerde gegevens van studenten bevinden zich in de submappen mnumcfg en mnumsessies van de logmap. De gegevens worden bewaard in tekstvorm.

Mnumcfg

In deze map staat voor elke student een bestandje <mnr>.cfg dat het aantal sessies van die student bevat; voor studenten die zich niet identificeren is er een soortgelijk bestandje myyxxxxx.cfg.

Mnumsessies

Voor elke sessie van een student wordt er een nieuw bestandje aangemaakt met de naam
<myyxxxxx>_<xxxxxx>.log, waarbij <myyxxxxx> de identificatie van de student is en <xxxxxx> het sessienummer voor deze student. In dit bestand bevinden zich de volgende gegevens: Voor elk van deze gegevens wordt aangegeven welk gegeven het betreft; deze informatie wordt gescheiden van de geregistreerde gegevens door een gelijkheidsteken =.

Vraaglogging

In de map vraaglogs staat voor elke vraag een bestand Q<nr>.log, wat volgende informatie bevat: Ook dit bestand is in tekstformaat; het bevat enkel de 5 bovengenoemde getallen.

Statistieken genereren.

Herkomst van de gebruikers.

Dit kan nagegaan worden a.h.v. het perlscript maakipstat.pl, uit te voeren in de hoofdmap van het systeem. Uiteraard is dit alleen mogelijk als er over de gebruikers ook gegevens werden bijgehouden. Een pagina ipstat.html wordt dan gegenereerd in de statistiekenmap van het systeem (<logmap>/statistieken/). De indeling van de IP-nummers is gebaseerd op de informatie van de KULeuven servers en omvat de volgende categorieën: De PC-lokalen worden nog verder onderverdeeld naargelang de locatie.

Overzicht van de vraaggegevens.

Dit kan nagegaan worden a.h.v. het perlscript maakvraagstat.pl, uit te voeren in de hoofdmap van het systeem. Uiteraard is dit alleen mogelijk als er over de vragen ook gegevens werden bijgehouden. Een pagina vraagstat.html wordt dan gegenereerd in de statistiekenmap van het systeem. Voor deze informatie wordt ook een bestand met een tabelformaat gegenereerd in de datamap (<logmap>/statproginv/): vraagstat.dat. Dit laatste kan gebruikt worden om aan vraaganalyse te doen.

Overzicht van de studentengegevens.

Dit kan nagegaan worden a.h.v. het perlscript statzts.pl, uit te voeren in de hoofdmap van het systeem. Uiteraard is dit alleen mogelijk als er over de gebruikers ook gegevens werden bijgehouden. Volgende bestanden worden gegenereerd in de juiste mappen: De html-overzichten bevatten verwijzingen naar een lager detailniveau indien toepasselijk. Mnummer is in bovenstaande bestandsnamen het mnummer van de student; sessienummer is het nummer dat een bepaalde sessie toegekend heeft gekregen tijdens het gebruik van het zelftestsysteem.

Bijlagen

A. Handleiding die on-line beschikbaar is voor de studenten

Handleiding bij de questionnaire
van numerieke wiskunde

Doel

Dit automatisch testsysteem moet de student toelaten om zijn kennis en inzicht te toetsen.
Een hint- en feedback-systeem moet de student een automatische begeleiding geven en toelaten om zichzelf te evalueren.
Verder kan de student zichzelf plaatsen ten opzichte van zijn medestudenten aan de hand van gemiddelde scores (van zijn voorgangers en hemzelf).

Vraagtypes

Er zijn 6 types van vragen en iedere vraag wordt op 1 punt gequoteerd.
Open antwoorden leveren steeds 0 punten op.

Hoe een test genereren?

  1. In het eerste veld kan je je mnummer invullen; je kan de test ook anoniem beantwoorden. Om ons onderzoek te steunen, vragen wij je om je mnummer toch in te vullen.
  2. Als de mogelijkheid om een emailbevestiging te krijgen aan staat, kan je in het tweede veld je emailadres invullen als je een emailbericht wilt krijgen met de resultaten van de test. Je emailadres wordt niet bewaard. Als deze mogelijkheid niet aan staat, wordt het tweede veld niet getoond.
  3. Het standaard aantal vragen is 5 per test; je kan dit echter wijzigen in het 3e vakje. Het aantal vragen moet wel minimaal 1 en maximaal 10 zijn.
  4. De vragen zijn geklasseerd volgens verschillende onderwerpen. Je kan de onderwerpen aankruisen waarover je een test wil genereren. Als je niets aankruist dan worden alle onderwerpen behandeld.
  5. De vragen zijn eveneens opgedeeld volgens een moeilijkheidsgraad (eenvoudige, gewoon, moeilijk) waaruit je kan kiezen. Als je niets aankruist dan kies je voor alle moeilijkheidsgraden.
  6. De knop ``Doe de test'' creëert dan effectief een test.

Hoe een test oplossen?

Feedback

Wat te doen bij problemen?

Dit toetssysteem is volledig herschreven inclusief de vragen zodat het wel schoonheidsfoutjes kan bevatten. Daarom hopen we op jullie medewerking om het systeem mogelijk te verbeteren. Al je commentaar, suggesties, reacties kan je kwijt op volgend formulier.

B. Uitzicht van de vragen

Figuur 1: Mogelijkheid om opmerkingen te versturen
\includegraphics[width=15cm,height=15cm]{mail}

Figuur 2: Openingspagina voor studenten
\includegraphics[width=15cm,height=15cm]{stud}

Figuur 3: Voorbeeld van een test met 1 vraag
\includegraphics[width=15cm,height=15cm]{vraag1}

Figuur 4: feedback op de vorige vraag
\includegraphics[width=15cm,height=15cm]{vraag2}

\includegraphics[width=15cm,height=15cm]{vraag3}

C. Voorbeelden van .dat bestanden 





\question{RBQ}
\onderwerp{1}
\diff{1}
\vraag
Dit is een voorbeeld van een enkelvoudige selectievraag met als onderwerp het eerste
dat voorkomt in het bestand ondlijst.cfg (bv. Deel 1, hoofdstuk 1, inleiding.).
Deze vraag is gemakkelijk.
\RBQ
\item eerste antwoordalternatief; fout gekozen.
\item tweede en correcte antwoordalternatief.
\item derde antwoordalternatief; fout.
\item vierde en laatste antwoordalternatief in dit voorbeeld; fout.
\antw{F&T&F&F}
\score{-1&1&-1&-1}
\feedback[afb]
Deze feedback wordt steeds getoond, ongeacht welk antwoord de student heeft gekozen.
\hint
Bij deze vraag hoort ook een hint.
\qend

\question{MCQ}
\onderwerp{3}
\diff{3}
\vraag
Dit is een voorbeeld van een meervoudige selectievraag met als onderwerp het derde dat
voorkomt in het bestand ondlijst.cfg (bv. Deel 1, hoofdstuk 3, stelsels.)
Deze vraag is moeilijk. Bij deze vraag krijgt de student geen terugkoppeling of hint.
\MCQ
\item eerste antwoordalternatief; juist gekozen.
\item tweede en ook correcte antwoordalternatief.
\item derde antwoordalternatief; fout.
\item vierde en laatste antwoordalternatief in dit voorbeeld; fout.
\antw{T&T&F&F}
\score{1/2&1/2&-1/2&-1/2}
\feedback[gfb]
\qend

\question{NQ}
\onderwerp{1}
\diff{2}
\vraag
Dit is een voorbeeld van een getalvraag met als onderwerp het eerste dat
voorkomt in het bestand ondlijst.cfg (bv. Deel 1, hoofdstuk 1, inleiding.).
Deze vraag is niet speciaal moeilijk of gemakkelijk (gewoon). We zoeken het getal 10.
Er is geen hint voorzien.
\NQ
\antw{10}
\score{1}
\feedback[jef]
\item Als je 10 invulde, krijg je deze tekst te zien.
\item Fout, het juiste antwoord was 10.
\qend

\question{WQ}
\onderwerp{1}
\diff{1}
\vraag
Dit is een voorbeeld van een woordvraag met als onderwerp het eerste dat
voorkomt in het bestand ondlijst.cfg (bv. Deel 1, hoofdstuk 1, inleiding.).
Deze vraag is gemakkelijk. We zoeken het woord "correct" en houden geen rekening met
hoofdletters/kleine letters.
\WQ
\antw{correct}
\score{1}
\feedback
Deze feedback wordt steeds getoond, ongeacht welk antwoord de student heeft gekozen.
\hint
Ook bij deze vraag hoort een hint.
\qend

\question{FIQ}
\onderwerp{1}
\diff{1}
\vraag
Dit is een voorbeeld van een invulvraag met als onderwerp het eerste dat
voorkomt in het bestand ondlijst.cfg (bv. Deel 1, hoofdstuk 1, inleiding.).
Deze vraag is gemakkelijk. We zoeken een aantal woorden (en eventueel getallen), 
maar getallen worden (evenals de woorden) vergeleken naargelang de ingevulde tekens. 
Als je dit vraagtype wilt gebruiken voor getallen is het dus belangrijk om een
eenduidige schrijfwijze in de vraagstelling te vermelden. Daarom is het beter om voor
getallen een numerieke invulvraag (NFI) of een getalvraag (NQ) te gebruiken.
We zoeken de woorden "vakje", "antwoord" en "invullen".
\FIQ
\item deze tekst komt na het eerste invulvakje te staan.
\item na het 2e invulvakje zie je deze zin.
\item En hiermee eindigen we ons voorbeeld.
\antw{vakje&antwoord&invullen}
\score{1/3&1/3&1/3}
\feedback[elk]
\item Als je deze tekst leest, heb je niet het woord "vakje" ingevuld.
\item Als je dit leest, staat in het 2e vakje niet "antwoord".
\item Blijkbaar heb je "invullen" niet in het laatste vakje gezet;
anders zou dit hier niet staan.
\qend

D. Log-statistieken

Figuur 5: Overzicht van de frequentie van de vragen en behaalde scores
\begin{figure} \hbox{}\vspace*{3mm}\hrule\vspace*{3mm} \begin{displaymath} ... ... \\ \hline \end{tabular} \end{displaymath} \vspace*{3mm}\hrule \end{figure}

Figuur 6: Overzicht van alle sessies van alle studenten
\begin{figure} \hbox{}\vspace*{3mm}\hrule\vspace*{3mm} {\huge\bf Overzicht z... ...st.html \\ \hline \end{tabular} } \mbox{}\vspace*{3mm} \hrule \end{figure}

Figuur 7: Overzicht van alle sessies van 1 student
\begin{figure} \hbox{}\vspace*{3mm}\hrule\vspace*{3mm} {\huge\bf Testdetail ... ...12.html \\ \hline \end{tabular} } \mbox{}\vspace*{3mm} \hrule \end{figure}

Figuur 8: Overzicht van de sessie van een student
\begin{figure} \mbox{}\vspace*{3mm}\hrule\vspace*{3mm} {\large\bf Sessiede... ...hline \end{tabular} } \end{displaymath} \vspace*{3mm} \hrule \end{figure}


Voetnoot

... @L141
P. Vansevenant, A. Bultheel. Het project VISNUE: Technische handleiding deel 2, Report @L14, november 2001.

© Adhemar Bultheel
2003-09-05