Nieuw model voor succesvol toepassen van Learning Analytics

Learning analytics heeft een enorme potentie voor het onderwijs, stelt Justian Knobbout. “Je kan het gebruiken om docenten en docenten meer inzicht in het leren en in individuele leertrajecten te geven, om cursusmaterialen te verbeteren, studentsucces te verhogen en nog veel meer. Daarnaast wordt er in het onderwijs soms gestuurd op aannames en leven er wel wat mythes. Deze kunnen met learning analytics worden bevestigd dan wel ontkracht.” Toch wordt het nog niet op grote schaal toegepast. Dat heeft veel te maken met de complexiteit; het is nog niet zo eenvoudig om learning analytics succesvol in een opleidingsinstelling te implementeren.

Er bestaan verschillende modellen die instellingen daarbij kunnen helpen, maar deze hebben een aantal tekortkomingen. Zo zijn ze lang niet allemaal empirisch gevalideerd en missen ze soms praktische ondersteuning. Knobbout besloot eerst te onderzoeken wat er hierdoor zoal misgaat in de praktijk. “Bij een onderwijsinstelling mocht ik een tool aan de digitale leeromgeving koppelen om te meten hoe studenten die omgeving nou precies gebruiken. Ik kon bijvoorbeeld zien hoe vaak een presentatie werd gedownload, hoe vaak een quiz werd gedaan en wat de uitslagen waren. Technisch was dit heel eenvoudig maar het was een heel werk om de juiste mensen betrokken te krijgen, toestemming te regelen, enzovoort. Zo liep ik zelf al direct tegen een probleem aan dat je bij learning analytics vaak ziet: het is veel breder en complexer dan de technologie alleen. Data verzamelen, in een dashboard zetten en op basis daarvan het onderwijs verbeteren? Zo simpel is het nooit.”

Vervolgens werkte Knobbout samen met een collega om uit de verzamelde data conclusies te trekken over het onderwijs. Ze ontdekten al snel dat dit helemaal niet mogelijk was. Veel data ontbrak. “Een presentatie is makkelijk te koppelen aan de betreffende cursus. Maar een bericht op een forum, of aan een docent? Dat is veel moeilijker te koppelen. Ook was veel data vervuild. Om een voorbeeld te geven: studenten loggen nooit uit, die laten een systeem gewoon open staan als ze wat anders gaan doen. Het systeem logt je pas na twee uur inactiviteit uit. Zie je die twee uur nog als studietijd? Waar trek je die grens en trekt iedereen die wel op dezelfde plaats? Je moet zo’n keuze bewust maken én verantwoorden. Anders kan je uit dezelfde gegevens allerlei datasets samenstellen die andere uitkomsten opleveren.”

Met de verzamelde praktijkproblemen als vertrekpunt onderzocht Knobbout de vakliteratuur, ook in domeinen die al langer data-analyses gebruiken, zoals de financiële en medische sector. Ook sprak hij met enkele onderwijsprofessionals die al veel ervaring hebben met learning analytics. Zijn bevindingen zette hij om in een praktisch Learning Analytics Capability model. Hierin worden dertig benodigde vaardigheden beschreven in vijf categorieën: Data, Management, Mensen, Technologie en Privacy & Ethiek. Vervolgens testte Knobbout zijn model in de praktijk. “Ik ben bij een vijftal onderwijsinstellingen langsgegaan die een implementatieplan voor learning analytics wilden opstellen. Eerst gingen ze zelf aan de slag. Halverwege het proces introduceerde ik mijn model. Daarmee wisten ze diverse manco’s en blinde vlekken in hun eigen opzet te ontdekken. Het model hielp ze hun eigen plannen flink aan te scherpen en blijkt dus ook in de praktijk waardevol.” Knobbout heeft veel aandacht besteed aan het concretiseren van de theorie: goede kwaliteit van data, wat houdt dat nou precies in? Stakeholders betrekken - aan wie moet je dan zoal denken? “Het model geeft concrete handvatten aan beleidsmakers en het hoger management van onderwijsinstellingen voor een goed implementatieplan van learning analytics.”

Op 29 oktober om 13.30 uur promoveert Justian Knobbout aan de Open Universiteit op zijn proefschrift ‘Designing the Learning Analytics Capability Model’. De verdediging kan online gevolgd worden via ou.nl/live