Project VISNUE-TWEE
Tussentijds verslag juni 2002
project OOI2001/14

A. Bultheel, M. Van Barel, S. Van de Laer

1 juli 2002





http://nalag.cs.kuleuven.be/research/ALpubs/AL17.abs.shtml

Samenvatting:

Het OOI project VISNUE-TWEE OOI2001/14 is gestart in september 2001 en heeft als doel om de middelen die ontwikkeld zijn in het vorige VISNUE project (1999-2001) te gebruiken en de didactische effecten ervan te onderzoeken en bij te sturen. In dat project werden de inleidende vakken numerieke wiskunde in de faculteiten toegepaste wetenschappen en wetenschappen omgevormd tot een practisch vak waar de theorie vanuit de toepassingen benaderd wordt.

Er werd een webgebaseerd platform voorzien met een discussieforum, een vragentrommel, de mogelijkheid van experimenteren en het voorzien van java applets en maple en matlab-code daartoe, het oplossen van allerlei vragen, informatie en feedback over de oefeningen, en externe links met professionele software en andere interessante informatie die verband houdt met numerieke wiskunde.

In het nieuwe project was het doel de studiemethode en -attitude bij de studenten bij te sturen door middel van een kalender, en een verder uitbouwen van een zelftestsysteem.

Doel van het project en samenstelling van het projectteam

Doel van het project

Doelgroepen

Het project is gericht op studenten van ``basiscursussen numerieke wiskunde'' die zowel in de faculteit Wetenschappen als in de faculteit Toegepaste Wetenschappen worden gedoceerd. Het gaat specifiek om

1. Numerieke wiskunde (2KBir) A. Bultheel
2. Numerieke wiskunde (2KWisk+2KInf) M. Van Barel
3. Numerieke wiskunde (GAS info + ind.ing.) M. Van Barel
4. Computergesteund probleemoplossen in de natuurkunde (2KNatk) R. Cools (sinds 2000-2001)

Doelen

Het doel van het vorige VISNUE project was om over te schakelen op een ander leerproces waarbij de studenten aangezet worden om te studeren in de lijn van de paradigma's vooropgesteld door de ideeën van begeleide zelfstudie. Daartoe werden middelen gecreëerd die dit stimuleren en mogelijk maken. Die omvatten o.a. een aantal webgebaseerde instrumenten die we nog even kort samenvatten

1. Een vragentrommel
2. Een discussieforum
3. Een aantal applets, maple of matlab code om te experimenteren.
4. Een zelftestsysteem
5. Externe links

Tegelijk werden de lessen ook omgevormd tot een aantal demonstraties, terwijl de theorie als zelfstudie werd aangeboden.
Het examensysteem is omgevormd naar een open boek examen met een aantal praktisch georiënteerde vragen.

In VISNUE-TWEE (VISualisatie van NUmerieke Experimentsn - Toets en WErkomgeving met Evaluatie) moeten de gerealiseerde middelen van het vorig project verder gebruikt en uitgebouwd worden en bijgestuurd op verschillende punten.

1. De gerealiseerde hulpmiddelen moeten op een efficiënte manier gebruikt worden, zowel door de docent als door de studenten. Lessen, cursusinhoud en studiegewicht moet nog beter aansluiten bij de nieuwe ideeën en middelen die nu beschikbaar zijn.
2. De leerstof moet nog beter geïntegreerd worden met andere vakken. Met het beschikbare webmateriaal kunnen niet alleen voorbeelden uit andere cursussen geïntegreerd worden in het vak numerieke wiskunde, maar kunnen andere vakken ook verwijzen naar het materiaal dat aangemaakt is binnen het numerieke vak.
3. Er moet een kalendersysteem uitgewerkt worden waardoor studenten een houvast hebben en weten hoeveel tijd ze wanneer aan welk onderdeel van de stof moeten besteden. Het is tegelijk een controlemiddel voor de docent om de belasting niet te zwaar te maken.
4. Het belang van een permanente testmogelijkheid met vragen die in de aard liggen van examenvragen is duidelijk. Daarom moet het experimentele zelftestsysteem beter uitgewerkt worden zodat studenten de mogelijkheid hebben zich gedurende gans het jaar te oefenen.

Samenstelling van het projectteam

• A. Bultheel (promotor)
• M. Van Barel (promotor)
• S. Van de Laer (projectmedewerkster), P. Van Sevenant (projectmedewerker, deeltijds)
• P. Van gucht, W. Michiels, S. Tastenhoye, B. Van Deyk, H. Govaert (oefeningengevers)

Verslag van de werkzaamheden in het eerste werkjaar

Overzicht van de activiteiten

Het huidige resultaat van de webomgeving voor de veschillende vakken is te vinden op

• http://www.cs.kuleuven.be/~ade/WWW/NW/ voor 2K Bir. (A. Bultheel)
• http://www.cs.kuleuven.be/~marc/NumWis/Menu/indexH302.htm voor
  2KW+I (M. Van Barel)
• http://www.cs.kuleuven.be/~marc/NumWis/Menu/indexG033.htm voor
  GAS Inf+ind.ing. (M. Van Barel)
• http://www.cs.kuleuven.be/~ronald/G188/ voor
  2de kan. Natuurk. (R. Cools)

Op deze pagina's kan men links vinden naar wat er reeds gedurende het project VISNUE (1999-2001) werd gerealiseerd, en zoals die in vorige paragraaf nog even zijn opgesomd. We herinneren ook nog een paar wijzigingen die met de nieuwe aanpak werden ingevoerd.

1. De lessen bestaan in hoofdzaak uit demonstraties. De theorie is in hoofdzaak zelfstudie.
2. Het examen in in twee stappen overgeschakeld van gesloten boek examen met theorievragen naar een volledig open boek examen.

Er was voorzien in een zelftest met feedback die bij de theorie en bij de webillustraties en opdrachten aansluit.

Uit de ervaringen met het academiejaar 2000-2001, bleken een aantal bijkomende maatregelen noodzakelijk, die als eerste in het nieuwe project werden gerealiseerd.

1. Om te voorkomen dat de studenten alle webpagina's afdrukken om die mee te brengen naar het examen, werd een samenvatting gemaakt en als aanvulling bij de cursustekst ter beschikking gesteld van de studenten.
2. De hele website kon worden afgehaald via het internet. Dit kon door ze in een aantal stukken te verdelen die telkens op een diskette kon worden opgeslagen. Dit werd vereenvoudigd doordat bij de bijkomende cursustekst over de illustraties nu ook een cdrom meegeleverd werd. Alle oefenmateriaal kon aldus offline worden ingeoefend.
3. Het zelftestsysteem had nog een aantal kinderziektes die moesten bijgestuurd worden. Er moest ook bijkomend oefenmateriaal aangemaakt worden. Op dit ogenblik zijn meer dan 100 vragen beschikbaar, en dit wordt nog uitgebreid.
4. Er werden meer oefenzittingen opgezet die in de computerklassen onder begeleiding van een assistent werden gegeven en die ook via een elektronisch formulier konden ingediend worden. De antwoorden werden dan ook telkens in globo besproken, met een verbetering van veel voorkomende fouten, en hints voor verbetering.

De belangrijkste conclusie van het vorige project betrof dat de studieattitude en -methode bij de studenten nog niet is zoals we ze zouden willen hebben. De omschakeling naar een open boek examen veroorzaakte nogal wat paniek in vorig academiejaar bij de studenten, terwijl anderzijds de attitude om te oefenen tijdens het jaar nog niet was ingeburgerd. Men blokt nog steeds intens gedurende een korte tijd voor het examen. Daarom werd in de eerste plaats gewerkt aan de volgende realisaties.

1. We dachten dat het toch belangrijk was dat er een kalendersysteem uitgewerkt werd waardoor studenten een houvast hebben en weten hoeveel tijd ze wanneer aan welk onderdeel van de stof zouden moeten besteden. Het is tegelijk een controlemiddel voor de docent om de belasting niet te zwaar te maken. Dit instrument is dan ook aangemaakt en gebruikt in het huidige academiejaar.
2. Wat de zelftest betreft is er zoals gemeld bijkomend materiaal aangemaakt maar we wilden ook het effect van het gebruik ervan onderzoeken in het kader van het doctoraatswerk van Saskia Van de Laer. De mogelijkheden van Question Mark Perception werden afgewogen tegenover een aanpassing van het huidige zelftestsysteem. Het bleek uiteindelijk eenvoudiger om het huidige systeem aan te passen voor onze noden. Daarom is een aanpassing gemaakt die in de komende weken zal voltooid worden.

   Tevens moet precies omschreven worden wat de voorkennis is voor het vak en moet de methodologie op punt gesteld worden. Testen voor en na moeten ontworpen worden om de effecten van het gebruik van het zelftestsysteem te kunnen meten. Hierover is overleg gepleegd met de copromotor van het doctoraatsonderzoek (J. Elen) en zijn voorbereidende cursussen gevolgd door S. Van de Laer.

Overzicht van de (tussentijdse) bevindingen

Het vak is gegeven in het tweede semester van 2001-2002. Tijdens deze periode is vooral het effect van het kalendersysteem en van de zelftest en de aangepaste oefenzittingen kunnen nagegaan worden. We kwamen daarbij tot de volgende vaststellingen:

1. Het kalendersysteem heeft niet voor iedereen gewerkt omdat niet iedereen dit heeft opgevolgd. Uit reacties is echter gebleken dat een aantal studenten dit wel gebruikten. Bovendien werden er wat minder vragen gesteld in de vragentrommel, maar werden wel vragen geformuleerd op het ogenblik dat er in de kalender gesuggereerd werd een herhaling te doen en een round-up te maken van wat dan nog niet duidelijk is. Uit de gestelde vragen bleek ook dat studenten in groepjes samenwerken en dat ze de vraag stelden nadat ze er onderling niet uitgeraakt waren.
2. Het zelftestsysteem is ook ingeschakeld en ook daar bleek uit de reacties dat het een zeker effect heeft. Het loggen van de resultaten en een voldoende goede feedback is echter nog niet optimaal en moet nog aangepast worden. Het zelftestsysteem is ook ingeschakeld in de oefenzittingen.
3. De oefenzittingen, het zelftestsysteem en de vragen van de illustraties werden gebruikt om voor een deel de vragen van het examen te bepalen. Het bleek dat veel studenten deze hulpmiddelen hadden gebruikt.

Initiatieven voor documentatie en bredere rapportering

Alle rapporten in verband met dit project worden online beschikbaar gesteld. Zie
http://nalag.cs.kuleuven.be/research/ALpubs/
Daar zijn o.m. te vinden:

1. Rapport @L09 S. Van de Laer, SEFI conferentie, september 2001, Oktober 2001.
2. Rapport @L10 S. Van de Laer, Themadag 1e kan, oktober 2001, Oktober 2001
3. Rapport @L13 P. Vansevenant, A. Bultheel, Het project VISNUE: Technische handleiding deel 1, November 2001.
4. Rapport @L14 P. Vansevenant, A. Bultheel, Het project VISNUE: Technische handleiding deel 2, November 2001.
5. Rapport @L15 S. Van de Laer, A. Bultheel, Het project VISNUE: inpassen in Blackboard? April 2002.
6. Rapport @L16 S. Van de Laer, A. Bultheel, Het project VISNUE: het kalendersysteem, April 2002.

Reflecties over de werkzaamheden

In het bovenstaande overzicht werden al onmiddellijk een aantal bedenkingen gemaakt. Bijkomend nog deze:

1. In het licht van de nieuwe aanpak dachten we eerst de theorie en de oefeningen volledig te integreren in één cursustekst. Na onze ervaring met het academiejaar 2001-2002, lijkt het huidige systeem echter vrij goed te werken, en is een volledige herwerking niet echt nodig. Enkel zal de bestaande theorie wat moeten geactualiseerd worden. De illustraties (+ bijhorende tekst) vormt dan een uitdaging die met de bestaande theoretische handleiding kan aangepakt worden.

Buiten deze directe bedenkingen bij het project, nog een paar bedenkingen met betrekking tot gewijzigde externe omstandigheden waarin het project werd uitgevoerd.

De effecten van het project waren niet altijd duidelijk te meten doordat er veranderingen waren in de externe omstandigheden. De belangrijkste noemen we hier op. Ze zullen ook mee het verdere verloop van het project bepalen.

1. Vooreerst was er de invoering van het semesterexamensysteem. We hebben het al eerder vermeld: een probleem bij het vak voor burgerlijk ingenieurs was dat het voorheen gedurende het eerste semester en de eerste helft van het tweede semester werd gegeven, terwijl er pas examen was tegen het einde van het jaar. Het gevolg was dat men het vak ``liet liggen'' en men blokte het pas tegen het einde van het jaar. Met het invoeren van het semesterexamensysteem is het hele vak in het tweede semester gepland met een evaluatie die vlak daarop volgt. Dit lost natuurlijk grotendeels het probleem op, maar toch bleek, zoals hoger vermeld, het kalendersysteem dat werd aangemaakt, gedeeltelijk om dit probleem op te heffen, toch gebruikt te worden. Het heeft daarnaast natuurlijk nog andere voordelen als richtgevend en controlerend instrument.
2. Na het indienen en goedkeuren van het project VISNUE-TWEE is ook de TOLEDO omgeving in gebruik genomen. De druk is daardoor zeer groot geworden om over te schakelen op TOLEDO en alles aan te bieden via het TOLEDO systeem. Er is een uitgebreide studie gemaakt waarin het VISNUE systeem en het TOLEDO systeem vergeleken werden. Het bleek dat VISNUE (een op maat gemaakt TOLEDO systeem voor de betrokken vakken maar dan ordes van grootte goedkoper), voor een deel wel en voor een deel niet handiger in gebruik is voor onze doeleinden. Het verslag hiervan is terug te vinden in het rapport
   S. Van de Laer, A. Bultheel, Het project VISNUE: het kalendersysteem, April 2002.
   Het werd ter beschikking gesteld van EPYC en de programmadirecteur van de kandidaturen toegepaste wetenschappen.

   We stonden dus voor de keuze ofwel heel VISNUE overboord gooien en alles opnieuw op te bouwen in TOLEDO. We vonden dat daardoor enkele belangrijke concepten en functionaliteiten van VISNUE zouden verloren gaan. Zo blijkt er bijvoorbeeld geen equivalent van de vragentrommel in TOLEDO te bestaan. Vermits de vragentrommel een van de belangrijkste functionaliteiten is van het elektronisch monitoraat van het kandidatuurcentrum toegepaste wetenschappen werd besloten om de vragentrommel te blijven gebruiken en via een link in TOLEDO aan te bieden.

   Het hele elektronische systeem op een CDROM kunnen aanbieden vinden we ook een belangrijk aspect van VISNUE. Een eerste evaluatie doet vermoeden dat het moet mogelijk zijn om de huidige VISNUE site te behouden, met de gemakkelijkheid van gebruik en controle over het systeem zoals we die zelf willen en de mogelijkheid om het hele systeem te kopiëren op een CDROM. Toch moet het mogelijk zijn om naar al dit materiaal vanuit TOLEDO te verwijzen met links. Hierdoor lijkt het voor de student dat alle onderdelen van VISNUE via TOLEDO worden aangeboden, terwijl hij toch een compacte offline versie op CDROM kan krijgen.

3. Voor een deel was het doel van dit project ook om het volledige systeem bij de collega's beter bekend te maken en hen warm te maken om de numerieke technieken ook in hun cursus te gebruiken en omgekeerd nog meer illustraties voor de cursus numerieke wiskunde te halen uit de andere voorafgaande, parallelle of vervolgvakken. Zo zouden we dan kunnen verwijzen naar elkaars vakken en tot een grotere integratie kunnen bekomen. In het kader van de BaMa discussie werden echter zo'n grondige hervormingen van vakinhouden en een globale aanpak van de opleiding voorgesteld dat een discussie met collega's over wanneer welk voorbeeld in welke cursus zou behandeld worden een volkomen zinloze bezigheid zou zijn, gezien dat hoogstens voor 1 academiejaar zou kunnen gebruikt worden. Bovendien stond ook de plaatsing en de omvang van de numerieke vakken zodanig ter discussie dat enige voorstellen in die richting van onze kant ook volkomen op drijfzand zouden gebouwd moeten worden. Dit onderdeel van het project is dus achterwege moeten blijven. Anderzijds is er in het nieuwe voorstel van de faculteit toegepaste wetenschappen een duidelijk voorstel om meer projectmatig te gaan onderwijs verzorgen waarbij aan grotere projecten in de bacheloropleiding zou gewerkt worden waardoor een integratie tussen de verschillende vakken reeds de facto zou gerealiseerd zijn. Het numerieke vak zou dan ook automatisch van deze integratie profiteren.

Toch denken we dat de reeds gerealiseerde middelen de nodige vruchten afwerpen, en willen we op de ingeslagen weg die in bovenstaande zinnen is geschetst verdergaan om de doelstellingen van het project te realiseren.

Gefaseerde planning van de werkzaamheden in het tweede jaar

Er wordt nog voorzien om te werken aan de volgende realisaties:

1. Eerst zal gewerkt worden aan het realiseren van een aangepast zelftestsysteem met de nodige logging faciliteiten, het opstellen van de toetshypothesen, het ontwerp van de bevragings- en meettechnieken. Dit moet gerealiseerd zijn voor de aanvang van de volgende lessencyclus in het tweede semester van 2002-2003.

   Het meten van leerstijl, motivatie, voorkennis, en niveau wordt gedurende het eerste semester en het begin van het 2e semester gepland. Als referentie worden dergelijke metingen in het tweede semester herhaald als de VISNUE zelftest in gebruik wordt genomen. Het onderzoek is in eerste instantie exploratief; er wordt gezocht naar verbanden tussen de gemeten studentenkenmerken, hun score op het examen en het gebruik van het zelftestsysteem.
   Per student houden we informatie van alle sessies bij; studenten worden onderscheiden a.h.v. hun m-nummer. Deze informatie gaan we proberen in verband te brengen met andere gegevens die we in de loop van het academiejaar gaan verzamelen, nl. de resultaten op soortgelijke testjes, hoe goed de voorkennis was, motivatie, leerstijl en resultaten op een test gelijksoortig aan het examen (een soort proefexamen voor het vak). We vragen ook naar de tijdsbesteding gedurende de instructieperiode en gedurende de blok.
   

   $$\begin{tabular}{\vert c \vert c \vert c \vert} \hline Test. ... ... tijdsbesteding. & 17/5-31/6 & 10 min. \\ \hline \end{tabular}$$
   
   
   Voor details zie bijlage.
2. Vermits er geen TOLEDO-equivalent is voor de vragentrommel, zal deze door het kandidatuurcentrum van de faculteit toegepaste wetenschappen blijven onderhouden worden zodat die als een afzonderlijke link beschikbaar blijft en ook als dusdanig in TOLEDO kan ingebracht worden, maar dus ook beschikbaar blijft als link in VISNUE.
3. Eveneens tegen het begin van de volgende lessencyclus zal de inpassing van VISNUE in het TOLEDO systeem moeten gemaakt worden.
4. In het kader van de hervormingen in het BaMa systeem zal de vakinhoud, de cursustekst, de illustraties, de inhoud van het zelftestsysteem, enz. moeten aangepast worden aan de noden van de programmering in de nieuwe opleiding. Van die gelegenheid zal gebruik worden gemaakt om het bestaande materiaal te reorganiseren en de onderwerpen meer modulair en evenwichtiger op te bouwen. Dit zou voor het einde van het project moeten gerealiseerd zijn, maar de juiste planning hangt af van de vordering van de werkzaamheden van de commissie die zich met deze hervorming bezighoudt m.n. in de faculteit toegepaste wetenschappen, en van de manier waarop het vak zal gesitueerd worden in de faculteit wetenschappen. We verwachten dat dit in de latere fase van het project zal gebeuren.

Referenties

1. http://www.cs.kuleuven.be/~ade/WWW/NW/ webstek van het vak voor 2K Bir. (A. Bultheel)
2. http://www.cs.kuleuven.be/~marc/NumWis/Menu/indexH302.htm webstek van het vak voor 2KW+I (M. Van Barel)
3. http://www.cs.kuleuven.be/~marc/NumWis/Menu/indexG033.htm webstek van het vak voor GAS Inf+ind.ing. (M. Van Barel)
4. http://www.cs.kuleuven.be/~ronald/G188/ webstek van het vak voor 2K Natuurk. (R. Cools)
5. http://www.kc.kuleuven.be/ webstek van het kandidatuurcentrum toegepaste wetenschappen.
6. http://www.cs.kuleuven.be/~ade/WWW/NWkal/ webstek van het nieuwe kalendersysteem (opgelet dit wijzigt voortdurend als het in gebruik is).
7. http://nalag.cs.kuleuven.be/oldquestnumir/index.php webstek van het oude zelftestsysteem (opgelet dit zal weldra vervangen worden door het nieuwe zelftestsysteem).
8. http://nalag.cs.kuleuven.be/research/ALpubs/AL15.abs.html Rapport @L15 (vergelijking VISNUE en TOLEDO).
9. http://nalag.cs.kuleuven.be/research/ALpubs/ webstek van publicaties in verband met de didactische projecten.

Bijlage

Evaluatie van het zelftestsyteem in Visnue

Saskia Van de Laer

1 juli 2002

Algemene situering.

Sedert enkele jaren is er voor het vak ``Numerieke wiskunde'' een webondersteuningsproject. De studenten kunnen via het internet toegang krijgen tot een heleboel gegevens omtrent de cursus; er is mogelijkheid tot interactie via een forum, ze kunnen vragen stellen in een vragentrommel, enz. Er is tevens een zelftestsysteem aanwezig waardoor ze kunnen nagaan in hoeverre ze bepaalde leerstofonderdelen al beheersen. Het onderzoek betreft enkel dit specifieke onderdeel, nl. het zelftestsysteem.

Waarom dit onderzoek naar het gebruik van het zelftestsysteem?

Op die manier proberen wij te weten te komen of de studenten er ook echt iets uit opsteken als ze testen afleggen, zodat wij het systeem kunnen verbeteren indien nodig. In eerste instantie is het een exploratief onderzoek; er wordt gezocht naar verbanden tussen kenmerken van een student (en zijn studeergedrag) en het gebruik van het zelftestsysteem. De (examen)score van een student op het vak numerieke wiskunde wordt in deze context ook als een ``studentenkenmerk'' beschouwd.

Welke informatie verzamelen we tijdens het onderzoek?

Per student houden we informatie van alle sessies bij. Die informatie zal bestaan uit het m-nummer van de student, welke opties hij of zij gekozen heeft, hoe lang de student aan het invullen van de vragen heeft gewerkt en hoe lang hij of zij de antwoordpagina bekeken heeft. Bovendien willen we weten of de student een emailbericht gevraagd heeft met de juiste antwoorden. Deze informatie gaan we proberen in verband te brengen met andere gegevens die we in de loop van het academiejaar gaan verzamelen, nl. de resultaten op soortgelijke testjes, hoe goed de voorkennis was, motivatie, leerstijl en resultaten op een test gelijksoortig aan het examen (een soort proefexamen voor het vak). We vragen ook naar de tijdsbesteding gedurende de instructieperiode en gedurende de blok.

Wat gebeurt er met al die gegevens?

Telt dit mee voor het examen?

Heel belangrijk: studenten wordt niet beoordeeld op basis van de resultaten van het onderzoek. Het onderzoek staat volledig los van de evaluatie voor het vak ``Numerieke wiskunde''.

Wat dan wel?

Wat er wel gebeurt, is dat alle verzamelde gegevens verwerkt worden tot zinnige informatie over het leerproces van studenten in het algemeen en dat die informatie dan weer gebruikt kan worden om de manier waarop het vak gedoceerd en ingeoefend wordt te verbeteren. We denken hier bijvoorbeeld aan verbanden zoals ``studenten met een diepe/brede verwerkingsstrategie hebben meer baat bij het gebruik van het zelftestsysteem'' of ``gebruik van het zelftestsysteem leidt tot vermindering van de totale studietijd''.

Anonimiteit?

In de eindfase van het verwerken van de gegevens zal alle bekomen informatie anoniem zijn; tijdens de verwerkingsfase hebben we voor elke student een unieke identificatie nodig om alle gegevens van die student te kunnen koppelen en zo verbanden tussen bv. studietijd en gebruik van het zelftestsysteem te zoeken. Het is dus onmogelijk om het onderzoek volledig anoniem te laten verlopen. Dit betekent echter niet dat alle informatie zomaar voor iedereen beschikbaar wordt gesteld.

Verplichte medewerking?

In praktijk betekent dit dat we studenten niet verplichten om zich te identificeren als ze het zelftestsysteem gebruiken; we voorzien alleen de mogelijkheid en hopen op hun medewerking.

Het onderzoek zelf.

Gedurende het academiejaar zullen enkele testen worden afgenomen. We zullen proberen dit te spreiden over het hele jaar zodat de studenten niet te veel extra belastingspieken hebben hierdoor. Naast de extra testen voor motivatie, leerstijl, ... (zie hoger) volstaat het om het m-nummer in te vullen telkens de student het zelftestsysteem gebruikt. Alle testafnames zullen steeds op voorhand worden aangekondigd.

Tijdschema voor de afnames van de testen.

$$\begin{tabular}{\vert c \vert c \vert c \vert} \hline Test. ... ... tijdsbesteding. & 17/5-31/6 & 10 min. \\ \hline \end{tabular}$$

Bespreking van de verschillende testen.

Leerstijltest 1.

Waarom?
Een andere leerstijl kan invloed hebben op studieactiviteiten en dus op het frequent of minder frequent gebruiken van het zelftestsysteem.

Wat?
We gebruiken hiervoor een gestandardiseerde leerstijlentest, waarbij het identificatienummer het m-nummer is: http://www.kuleuven.be/duo/ils/.
Hieruit zijn vooral de onderdelen oppervlakte- of diepteaanpak, sturing en stimulerend onderwijs van belang.

Motivatietest 1.

Waarom?
We nemen een motivatietest af om na te kunnen gaan of er een verband is tussen motivatie en gebruik van het zelftestsysteem, bv. ``enkel studenten die zichzelf motiveren maken gebruik van het zelftestsysteem''.
Deze test kan ook belangrijk zijn om een inzicht te krijgen in het verband tussen motivatie en studie-efficiëntie; gebruiken beter gemotiveerde studenten hun studietijd efficiënter?

Wat?
De exacte test is nog niet geselecteerd, maar we zoeken hiervoor een gestandardiseerde test.

Voorkennistest.

Waarom?
Om te kunnen nagaan of er verbanden bestaan tussen het leerproces en andere zaken als het gebruik van het zelftestsysteem, moet er kunnen nagegaan worden of er hoegenaamd wel sprake is van een leerproces en hoe ver studenten al staan bij aanvang.

Wat?
We stellen vragen over leerstofonderdelen uit het secundair onderwijs (of uit de opleiding) die relevant zijn voor het vak ``Numerieke wiskunde''. Deze leerstof wordt niet herhaald in het vak maar studenten moet ze wel kunnen toepassen om de oefeningen te kunnen oplossen.

Niveautest 1.

Waarom?
Om resultaten te kunnen vergelijken, moeten we nagaan in hoeverre studenten in het begin de leerstof al beheersen. Daarom doen we een eerste niveautest.

Wat?
Deze test bevat vraagjes die gelijkaardig zijn aan de vragen in het zelftestsysteem. Studenten krijgen hiervan geen automatische feedback om te voorkomen dat het deelnemen aan deze test automatisch betekent dat studenten het zelftestsysteem gebruikt hebben. Zij die dat willen kunnen natuurlijk wel gebruik maken van het inzagerecht.

Motivatietest 2.

Waarom?
De 2e motivatietest dient om te kunnen nagaan of de motivatie in de loop van het semester veranderd is. We proberen ook om na te gaan of er een verschil is tussen de mensen die het zelftestsysteem frequenter gebruikten en zij die dat niet deden.

Wat?
De 2e motivatietest is inhoudelijk volledig gelijk aan de eerste.

Leerstijltest 2.

Waarom?
De 2e leerstijltest dient om te kunnen nagaan of de motivatie in de loop van het semester veranderd is. We proberen ook om na te gaan of er een verschil is tussen de mensen die het zelftestsysteem frequenter gebruikten en zij die dat niet deden.

Wat?
We gebruiken hiervoor een gestandardiseerde leerstijlentest, waarbij het identificatienummer het m-nummer is, gevolgd door het cijfer 2: http://www.kuleuven.be/duo/ils/.
Hieruit zijn vooral de onderdelen oppervlakte- of diepteaanpak, sturing en stimulerend onderwijs van belang.

Vorderingstest.

Waarom?
Door een vorderingentest af te nemen kunnen we nagaan of er een verband is tussen het frequenter gebruiken van het zelftestsysteem en het verwerven van wiskundige competentie, m.a.w. of studenten die zichzelf meer testen ook meer bijgeleerd hebben.

Wat?
Eigenlijk is deze test volledig analoog aan de eerste niveautest. We stellen een aantal kleine vraagjes die soortgelijk zijn aan de vragen in het zelftestsysteem.

Niveautest 2.

Waarom?
Opdat we niet rechtstreeks gebruik zouden moeten maken van de echte examencijfers, meten we het ``eindniveau'' dat bereikt werd voor het vak ``Numerieke wiskunde'' door een test af te nemen die gelijksoortig is aan het examen.

Omdat de studenten inzagerecht hebben in al hun persoonlijke gegevens, kan dit meteen dienst doen als proefexamen. De studenten hebben nog wat tijd om bij te sturen als ze hieraan deelnemen en merken dat hun resultaten minder goed zijn.

Voor het onderzoek kunnen deze resultaten een aanwijzing zijn dat gebruik van het zelftestsysteem niet alleen een verbetering oplevert voor de kleine vraagjes die worden gesteld maar ook een positief effect heeft op de totale kennis voor het vak, m.a.w. studenten leren niet alleen kleine feitjes en formules maar het zelftestsysteem gebruiken helpt ook bij het leren oplossen van grotere problemen.

Wat?
De 2e niveautest is een vorm van proefexamen; we gebruiken een test die gelijksoortig zal zijn aan het eindexamen en de studenten krijgen ook inzage in de resultaten.

Tijdsbesteding.

Waarom?
Deze test past in het onderzoek omdat de hoeveelheid tijd die iemand aan een vak besteedt een invloed heeft op de prestaties; een extreem voorbeeld: als je niet studeert, zul je waarschijnlijk ook weinig punten halen.

De bedoeling van deze vragenlijst is eigenlijk om na te gaan of er een verband is (al dan niet oorzakelijk) tussen het gebruik van het zelftestsysteem en tijdsbesteding. We willen weten of studenten meer of minder tijd besteden aan een vak als ze zelf kunnen nagaan hoe ver ze al staan. Hiervoor kunnen we de studenten in 2 groepen splitsen: zij die het zelftestsysteem frequenter gebruikten en zij die dat niet deden. Vervolgens kunnen we dan totale studietijd vergelijken en ook of studenten meer of minder regelmatig studeren, en of studenten met een zelfde studietijd en een zelfde soort studiebelasting (pieken of regelmatig) betere resultaten halen naarmate ze zichzelf testen (dit zou kunnen wijzen op een efficiënter gebruik van de studietijd omdat men bv. niet nodeloos herhaalt wat men al grondig (genoeg) kent).

Wat?
We vragen hiervoor aan de studenten hoeveel tijd ze gedurende de blokperiode besteedden aan studie en hoeveel tijd tijdens het academiejaar (bv. in de vorm van meer of minder tijd besteed aan studie dan aangegeven op de kalender).