, ligt de gemiddelde (over alle studenten)
normscore op ong. 0,16 of met correctie voor open vragen op 0,23.
A. Bultheel, M. Van Barel, S. Van de Laer
November 2003
http://nalag.cs.kuleuven.be/research/ALpubs/AL22.abs.shtml
http://nalag.cs.kuleuven.be/research/ALpubs/
Volgende ontwikkelingen waren nodig om deze doelstellingen te bereiken.
Het zelftestsysteem uit het VISNUE-project is volledig herschreven met het oog op het toevoegen van een logsysteem. Op die manier wordt de didactische evaluatie mogelijk gemaakt.
Er werd gekozen om het zelftestsysteem te ontwikkelen met de volgende vereisten:
In de invoerbestanden voor de vragen zijn in principe alle LATEX symbolen en constructies toegelaten. De flexibiliteit naar andere vakken toe wordt gerealiseerd door alle vakspecifieke informatie (URL, onderwerpen voor de vragen) buiten de eigenlijke code (in configuratiebestanden dus) te plaatsen. Alle uitleg over installatie vanaf het uitpakken van het gecomprimeerde ``zelftest.zip'' tot aan het gebruiken wordt gebundeld in een ``readme''-bestand (in LATEX ``readme.tex'', HTML ``readme.html'' en PDF ``readme.pdf'' formaat). Voor studenten is er ook een handleiding voorzien waarin de verschillende vraagtypes en manier van scoren wordt besproken. Door de omzetting naar HTML te doen a.h.v. LATEX2html wordt een beperkte afhankelijkheid geïntroduceerd. Dit weegt echter niet op tegen het verschil in ontwikkeltijd wanneer alle omzettingen zelf zouden geprogrammeerd moeten worden. De afhankelijkheid is zo beperkt mogelijk gehouden; er zijn sentinels ingebouwd in de invoer zodat het uitvoerformaat van LATEX2html zo weinig mogelijk invloed heeft op het eindresultaat. Een andere afhankelijkheid is die van het bladerprogramma. Om formules in LATEX te tonen, bestaan er speciale uitbreidingspakketjes (bv. TechExplorer). Van deze hulpmiddelen is afgezien om ook studenten die deze thuis niet kunnen/willen installeren niet te benadelen. Bovendien vermijdt men samen met deze installatie''problemen'' ook eventuele versieproblemen. We hebben ons dus beperkt tot een HTML-formaat dat door elk elementair (grafisch) bladerprogramma weergegeven moet kunnen worden. Het onderhoud na eerste installatie is beperkt tot toevoegen, aanpassen of verwijderen van vragen en het beheer van de logbestanden. Toevoegen en aanpassen van vragen gebeurt op een gelijkaardige manier: uitvoeren van een Perlscriptje nadat het invoerbestand voor de vraag in de hoofdmap is geplaatst. Het verwijderen gebeurt eveneens a.h.v. een Perlscriptje, waarbij enkel het vraagnummer (de vraagnummers) moet(en) opgegeven worden.
Het zelftestsysteem uit VISNUE is qua opzet en soorten vragen één van de
geautomatiseerde zelftestsystemen met gesloten en halfopen vragen.
We hebben de keuze gemaakt om geen open vragen op te nemen in het systeem,
omdat deze (nog) niet door een computersysteem kunnen nagekeken worden
(men kan enkel een verbetersleutel ter beschikking stellen of manueel controleren).
Wat onderscheidt het VISNUE-systeem dan van andere systemen?
Ten eerste het invoerformaat.
Veel wiskundigen gebruiken LATEX om formules mooi te kunnen weergeven op
computer. Dit wordt door het VISNUE-systeem ondersteund.
Verder kunnen docenten hun vragen op meerdere manieren bekijken;
er is de webinterface voor docenten maar ook de mogelijkheid om alle
vragen samen in 1 LATEX document te bekijken.
Dit laatste kan handig zijn om een overzicht te krijgen van de beschikbare vragen.
Naast verschillen zijn er ook gelijkenissen natuurlijk.
Hoewel het VISNUE-systeem specifiek voor het vak ``Numerieke wiskunde''
ontwikkeld werd, is het geenszins beperkt tot dit vak alleen.
Het systeem is voldoende algemeen zodat ook andere vraagonderwerpen kunnen
ingegegeven worden en zodat het elders plaatsen slechts een paar beperkte
aanpassingen vraagt.
Voor docenten die het systeem zouden willen gebruiken,
is er een technische handleiding beschikbaar en zijn er voorbeeldvraagjes.
Bovendien zijn een aantal bestanden zoals gebruikt voor het vak
``Numerieke wiskunde'' mee opgenomen in het gecomprimeerde bestand
``zelftest.zip'' zodat docenten deze als voorbeeld kunnen gebruiken om hun
eigen configuratie te bepalen.
Het systeem is beschreven in
@L18, S. Van de Laer, A. Bultheel
Project VISNUE-TWEE: Het zelftestsysteem, november 2002.
Gedurende het academiejaar 2002-2003 werd reeds gebruik gemaakt van een
oefenzittingensysteem, wat inhield dat studenten online antwoorden invulden,
verstuurden en hierop feedback kregen van de docent.
Veel studenten hadden hierbij de opmerking dat ze hun eigen antwoorden nog
eens apart moesten noteren omdat ze anders niks hadden om achteraf te gebruiken
bij het studeren en bij het vergelijken met de commentaar van de docent.
Daarom werd besloten om aan het bestaande systeem toe te voegen dat studenten
een emailtje toegestuurd konden krijgen waarin hun eigen antwoorden staan.
Voordelen
T.o.v. het oude systeem is er bij de docent een taak weggevallen, nl. het verwerken van de gegevens. Dit gebeurt nu automatisch zodra de studenten hun antwoord verzenden.
Oefenzittingen met en zonder invulformulier worden op een zelfde manier verwerkt, nl. er wordt een LATEXachtig bestand aangemaakt (of gewoon een LATEX bestand indien geen invulformulier) en dit wordt verwerkt door een installatiescriptje zodat een opgave in LATEX formaat en HTML formaat beschikbaar is, en indien toepasselijk ook een invulformuliergedeelte. Dit laat ook toe om aan bestaande opgaven eenvoudig een invulformulier toe te voegen indien wenselijk: de opgave kan behouden blijven maar er dienen wel een aantal etiketten toegevoegd te worden voor een formulier (en korte zinnetjes) en indien nodig een herformulering van de vragen.
Door het gebruik van de gegevensbank om de resultaten te stockeren zijn een aantal problemen uit het verleden uitgeschakeld. Er is nu immers geen behoefte meer aan locking voor andere gebruikers en andere gebruikers worden ook niet gestoord doordat iemands gegevens worden geregistreerd.
In het oude systeen was het mogelijk dat alle gegevens van een reeks studenten verloren gingen als de begeleider van de oefensessie zou vergeten hebben de toegangsrechten aan te passen voor de sessie. Dit wordt nu gecontroleerd aan het begin van de oefensessie als de student zijn gegevens invult.
Nadelen
Omdat de oude versie van de HTML-formulieren zo exact mogelijk overgenomen werd, bestaan er nog steeds 2 versies van de opgave, die echter nagenoeg identiek zijn. Ze verschillen enkel doordat in de ene versie de inulvakken van het formulier niet beschikbaar zijn en in de andere versie wel. De versie zonder invulmogelijkheden is zowel in HTML als in PDF formaat beschikbaar.
De opgave wordt met gewone LATEX commando's beschreven. De formatering voor de antwoordformulier wordt daartussen gelast met behulp van HTML commando's. Die is voor LATEXverwerking afgeschermd door een speciale LATEXomgeving. Die omgeving bevat ook een korte formulering van de vraag.
In het invulformulier kunnen geen HTML-links voorkomen die niet openen in een nieuw venster, omdat het bladerprogramma dat geïnstalleerd is op de machines hier het automatisch herstellen van ingevulde gegevens niet ondersteunt. Dit zorgt ervoor dat alle verwijzingen in de opgave in 2 versies moeten aangemaakt worden, nl. pure HTML en een LATEX versie die dan in LATEX getoond kan worden.
Studenten moeten nu ook het nummer van de oefenzitting selecteren.
Over de term ``zelfstudie'' kunnen we vrij kort zijn: studenten moeten zelfstandig de aangeboden leerstof verwerken. Zij krijgen hierbij (in de colleges) verwijzingen naar leermateriaal.
Het woord ``begeleiding'' echter kan op verschillende manieren geïnterpreteerd worden. Men kan hieronder verstaan dat men studenten de mogelijkheid biedt om vragen te stellen, oefeningen te maken of toepassingen te onderzoeken. Dan betreft het begeleiding op het vlak van kennis, inzicht, vaardigheden en toepassingen (samen onder de term ``competentie'' aangeduid). Een andere interpretatie is dat men de studenten begeleidt op een hoger niveau: niet het verwerven van competentie is het hoofddoel, maar het verwerven van een strategie om die competentie te ontwikkelen. Het zelftestsysteem biedt ondersteuning op beide niveaus door enerzijds de student te doen inzien wat hij (nog) niet kent/kan (en waar hij dus aan zou moeten werken) en anderzijds door hem een middel aan te reiken om zijn eigen leerproces te helpen besturen. Door het meten van vooruitgang kan een student ook immers uittesten met welke studiestrategie hij het snelst vooruitgang bereikt.
In de vorige paragrafen werden 2 manieren van programmabeoordeling besproken: men kan een lijstje met vereisten afgaan en aanduiden aan welke criteria een programma voldoet en men kan de plaats van een bepaald programma in het spectrum van gelijkaardige producten proberen te bepalen. Deze beoordelingsmechanismen zeggen echter niet alles over een systeem; er ontbreekt namelijk een belangrijk element: voldoet het gebruik van het systeem ook aan de verwachtingen? Om het gebruik van een programma te beoordelen, kan men alleen maar kijken naar de gebruikers, in dit geval dus de studenten. Men kan bv. hiervoor bij een kleine groep studenten tijdens het gebruiken opnames maken of notities nemen om te zien of ze gemakkelijk hun weg vinden. Men kan ook vragenlijsten afnemen waarbij studenten hun mening over het programma kwijt kunnen. Maar waar wij het meest in geïnteresseerd zijn is het volgende: is er een verband tussen het gebruik van het programma en het leerproces van studenten? En van welke aard is dit verband? Dit verstaan wij onder didactische evaluatie.
We nemen bij studenten een aantal tests af die betrekking hebben op hun leerproces en die betrekking hebben op het gebruik van het zelftestsysteem. Gedurende dit academiejaar hebben we ondervonden dat studenten uit vrije wil niet massaal deelnemen aan het onderzoek. Wellicht heeft dit te maken met de studiebelasting gedurende het jaar die door studenten als zeer hoog wordt ervaren? Het gevaar bestaat dat hierdoor alleen de betere studenten zouden deelnemen, wat elke conclusie aangaande verbanden tussen gebruik van het zelftestsysteem en leerresultaat bevooroordeeld zou maken. Daarom leek het ons beter om in het academiejaar 2003-2004 het onderzoek te zien als deel van het vak ``Numerieke wiskunde'' en als zodanig te verplichten voor studenten. Deze zienswijze is te argumenteren omdat deelname aan het onderzoek ook voor studenten een leerervaring is: zij krijgen inzicht in hun eigen leerproces (door de terugkoppeling; d.i. metacognitief niveau) en zij krijgen inzicht in hun kunnen en worden gestimuleerd om hun zwakkere punten eerst aan te pakken (cognitief niveau). Deelnemen aan het onderzoek is m.a.w. zich laten begeleiden bij het studeren van het vak ``Numerieke wiskunde''.
Gedurende het academiejaar 2002-2003 verwachtten we nog geen definitieve conclusies te kunnen trekken. We wilden nagaan hoe het zat met de meetinstrumenten die we willen gebruiken. In eerste instantie zullen we ons dus beperken tot voorlopige trends die in de gegevens lijken te zitten. De eigenlijke tests en hun resultaten werden gepland voor het academiejaar 2003-2004.
De perceptie van de studenten:
In het rapport
@L21
S. Van de Laer, A. Bultheel,
Project VISNUE-TWEE: Perceptie van de studenten,
November 2003
staan de resultaten van de vragenlijst aan de studenten omtrent de
leeromgeving in cijfers uitgedrukt.
De opmerkingen van individuele studenten zijn daar ook terug
te vinden.
Korte samenvatting:
De registratiebestanden van het zelftestsysteem:
Algemene cijfers m.b.t. het gebruik van het zelftestsysteem werden verzameld. Ook de overzichten per student zijn bewaard. Voor elke student kunnen dan zijn verschillende sessies bekeken worden. Gedurende een zelfde sessietijdstip vragen sommige studenten meerdere tests zonder hun gebruikerssessie af te sluiten; deze sessielogs zijn opgesplitst in de statistieken. Voor elke test in een sessie is er een sessiedetail gemaakt, i.p.v. voor elke gebruikerssessie. In de globale statistieken wordt met een sessie 1 vragenset bedoeld die de student gekregen heeft; met een sessietijdstip bedoelen we 1 gebruikerssessie (dus 1 keer inloggen en keuzes maken).
Vooral de studenten die het zelftestsysteem eenmalig gebruiken of meerdere tests vragen gedurende dezelfde sessie kijken naar de vragen zonder veel in te vullen. Bij de studenten die het zelftestsysteem niet anoniem gebruikten, zijn er grote verschillen tussen de individuele studenten; sommigen vullen telkens alle vragen in, sommigen doen dit nooit of maar af en toe.
De meeste studenten gebruikten het zelftestsysteem enkel in de oefenzitting waarin het de opdracht was; slechts een kleine minderheid gebruikte het uit zichzelf vaker. Over de groep anonieme gebruikers is op dit vlak niet echt uitspraak te doen, omdat het aantal afzonderlijke sessietijdstippen niet groter is dan het totaal aantal studenten voor de cursus, maar het totale aantal sessies (anoniem + niet-anoniem) ligt erg laag. Vermoedelijk moet de verklaring voor het sporadisch gebruik gezocht worden in het feit dat vele studenten aangaven dat ze het kalendersysteem niet konden volgen, waarbij een relatief groot aantal nog bijkomende opmerkingen gaf over de te hoge belasting gedurende de instructieperiode, ook gezien er nog andere vakken en projecten waren.
Als normscore wordt de totaalscore gedeeld door het totale aantal vragen genomen; de normscore zonder open antwoorden is dan de totaalscore gedeeld door het totale aantal beantwoorde vragen.
De normscores van de studenten liggen vrij laag; met een maximum vraagscore van
1 punt en een minimum vraagscore van , ligt de gemiddelde (over alle studenten)
normscore op ong. 0,16 of met correctie voor open vragen op 0,23.
De gemiddelde sessieduur lijkt erop te wijzen dat men minder dan een kwartier de tijd neemt om een vraag te beantwoorden en het antwoord na te kijken. Is die lage sessieduur te wijten aan de moeilijkheidsgraad of de grootte van de vragen? Of kiest men het tijdstip om een bepaald onderwerp te selecteren slecht? Of vergeet men gewoon een onderwerp aan te duiden zodat men over alles vragen kan krijgen? Het bekijken van een aantal sessiedetails leert ons dat studenten meestal wel een beperkt aantal onderwerpen selecteren, dus is het aan te nemen dat men ofwel grote vragen krijgt, ofwel heel moeilijke vragen, waarvoor men niet gemotiveerd is om lang naar het antwoord te zoeken.
Onder generatiestudenten worden die studenten verstaan die vanaf hun jaar van eerste inschrijving het normale verloop van de studies volgen, zonder bissen dus.
Percentueel gezien gebruiken generatiestudenten het zelftestsysteem minder vaak
dan niet-generatiestudenten (gemiddeld 4,35 sessies per generatiestudent tegen
5,5 per niet-generatiestudent).
Als we kijken naar sessietijdstippen, dan is het verschil nog veel groter:
3,2 sessietijdstippen voor niet-generatiestudenten tegen 1,5 voor
generatiestudenten.
Dit kan ook verband houden met de opmerkingen bij het kalendersysteem:
niet-generatiestudenten hebben waarschijnlijk al een aantal vrijstellingen
verzameld en kunnen zich beter richten op de vakken die ze nog opnieuw moeten
afleggen.
Resultaten van de leerstijltest:
Geen van de studenten heeft deze test meerdere keren afgelegd, dus over evolutie in leerstijl zijn geen gegevens beschikbaar.
Het totaal aantal deelnemers is te laag om echt conclusies te kunnen trekken, maar zelfsturing lijkt lager te liggen bij de groep deelnemers dan wat gemiddeld verwacht mag worden en ook is men minder beroepsgericht, persoonlijk geïnteresseerd en te vinden voor stimulerend onderwijs (zelfwerkzaamheid).
Toetsgericht lijkt ietsje hoger te scoren bij deze groep deelnemers en men
twijfelt ook meer aan (het aankunnen van) de studie (ambivalent).
Resultaten van de eerste motivatietest:
In het algemeen hebben de deelnemende studenten 8 uur wiskunde gevolgd in de vooropleiding, wat denk ik voor de richting burgerlijk ingenieur ook de aangewezen keuze is.
De deelnemende studenten zijn ongeveer evenveel extrinsiek gemotiveerd als intrinsiek, d.w.z. dat ze vooral door expliciete taken aangezet worden om de leerstof te verwerken resp. door eigen interesse. Persoonlijke interesse scoort zeer laag; de studenten vonden numerieke wiskunde op zich niet echt boeiend.
Misschien een opvallend cijfer is 0 bij toetsgerichtheid; dit komt omdat dit studiemotief in geen van de vragen aan bod kwam... Iets waar dus bij eventuele herhaling van deze test naar gekeken moet worden.
Beroepsgerichtheid scoort bij de helft van de studenten laag; misschien heeft dit ook te maken met de keuze voor een afstudeerrichting die pas later gemaakt moet worden.
Taakgerichtheid is bij 6 van de 16 deelnemers laag.
De deelnemende studenten waren erg prestatiegericht. Vooral de te behalen cijfers waren belangrijk. Hoewel positieve prestatiegerichtheid (proberen beter te doen dan anderen) ietsje beter scoort dan negatieve prestatiegerichtheid (zeker niet slechter scoren dan anderen), komen beide drijfveren voor in bijna gelijke mate.
De meeste deelnemers hanteren een diepgaande verwerkingsstrategie en willen dus niet enkel van buiten leren; dit zou verband kunnen houden met de manier waarop de lessen (en oefenzittingen) opgevat zijn, namelijk met veel praktische toepassingen en weinig zuivere theorie op zich. Toch komt puur van buiten leren nog altijd voor.
Sommige respondenten kunnen vrij goed plannen en zich eraan houden, bij de grote meerderheid is dit (nog?) niet het geval.
De mensen die de leerstof proberen diepgaand te begrijpen, gaan ook meer kijken naar de context en toepassingen (gesitueerd leren) en proberen die leerstof in te passen in wat ze al weten. Globaal gezien kon men ook een onderscheid maken tussen de grote lijnen en de details in de leerstof. Het gebruik van hulpmiddelen was vrij groot, evenals het gebruik van het zelftestsysteem specifiek. Deze conclusie staat in contrast met wat studenten werkelijk blijken te doen, want het gebruik van het zelftestsysteem was vrij sporadisch te noemen globaal gezien.
Van de deelnemende studenten vond minder dan 1/4 numerieke wiskunde een boeiend vak; de meesten geven wel aan over doorzettingsvermogen te beschikken om ook minder leuke taken af te werken. Degene die onzeker zijn wat de juiste keuze van opleiding betreft, scoren minder op doorzettingsvermogen maar vinden wiskunde wel boeiend. Het betreft wel een zeer klein aantal studenten om hier iets veralgemeenbaar over te zeggen.
Voor de horizontale integratie zijn contacten met collega's gelegd. Het was de bedoeling dat numerieke technieken die tijdens de cursus numerieke wiskunde gezien werden zouden toegepast worden op onderwerpen die in andere cursussen aan de orde zijn. Zo zijn er verscheidene applets ontwikkeld rond mechanische problemen, rond een begrip ``uniforme continuïteit'' uit de analyse, o.a. in het kader van een eindwerk informatica. Verder komen voorbeelden aan bod zoals de Schroedingervergelijking uit de natuurkunde, stabiliteitsanalyse van een gebouw, allerlei problemen uit de scheikunde, de systeemtheorie enz. Er waren nog contacten gelegd om andere problemen die niet analytisch oplosbaar waren in een natuurkundevak, op te lossen met numerieke technieken, waardoor weer een extra binding zou ontstaan. Door de BaMa-hervormingen zijn alle inhouden van vakken op losse schroeven komen te staan en is de geleverde inspanning gedeeltelijk een maat voor niets geweest (omdat basisvakken waaruit de toepassingen kwamen tot nog maar een fractie gereduceerd werden) en werd er niet verder gewerkt aan nieuwe initiatieven. De nieuw ingevoerde P&O's (Probleemoplossen en Ontwerpen) in de eerste twee jaren van het nieuwe programma krijgen echter direct te maken met numerieke problemen (terwijl het vak numerieke wiskunde slechts in het derde semester komt). De P&O's zijn het middel bij uitstek om tot een integratie van verschillende vakken te komen. Van zodra er een syllabus voor het derde semester van de P&O's bekend is, zal daar waarschijnlijk een groot potentieel voor integratie met de numerieke wiskunde liggen.
Voor de verticale integratie werd er vanaf het begin aangetoond dat de elementaire technieken die in dit vak aangebracht worden niet de stand van zaken weergeven die op dit ogenblik aan oplossingsmethoden voor numerieke problemen beschikbaar zijn. Door ze toe te passen op wat ingewikkelder of grotere problemen worden de beperkingen ervan geïllustreerd. Dit legt dan de link naar meer gevorderde vakken over numerieke wiskunde. Bovendien worden de methoden die aangeleerd worden ook dikwijls geplaatst in een groter numeriek probleem (zoals het oplossen van partiële differentiaalvergelijkingen). Dat laatste probleem komt aan bod in andere, meer gevorderde vakken, waar men veel dieper ingaat op oplossingsmethoden. Dus zowel door de gekozen voorbeelden als door te wijzen op de beperkingen van de aangeleerde technieken wordt verwezen naar vervolgvakken.
Bovendien wordt op gepaste plaatsen ook verwezen (bv. door links naar ``newsletters'', web-adressen, e.d.) naar plaatsen, teksten, voorbeelden, waar professionele numerieke wiskundigen aan het woord komen. Dit geeft enerzijds een perspectief naar het professioneel gebruik van de numerieke wiskunde, of het technisch wetenschappelijk rekenen (``scientific computing'') en anderzijds is dit voor later (b.v. bij het maken van een eindwerk, of in de loop van doctoraatsonderzoek) een belangrijke informatiebron. Daar kan men naar teruggrijpen om terug te vinden waar men terecht kan voor een numeriek probleem.