12 april 2017

Over Onderzoek: dr. Anissa All

Anissa wilde iets onmogelijks. Een ‘allesomvattend model’ model maken waarmee de effectiviteit van serious games gemeten kan worden. Wij houden van dingen die onmogelijk lijken en wij houden van effectieve games, dus het onderzoek van deze Vlaamse dame was voor ons als een laserlampje voor een kat. Absoluut onweerstaanbaar.

Nu, ruim vier jaar later, is haar promotieonderzoek afgerond. Tijd om te ontdekken wat we van haar kunnen leren.

Is er nu een model waarmee we alle games door kunnen meten?

Het korte antwoord op die vraag is nee. Er bestaat geen ‘one size fits all’ oplossing omdat de game, de doelstelling en de situatie waarin gespeeld wordt steeds anders is. Maar er is wel een raamwerk om te helpen bepalen wat voor onderzoek je kunt doen en waar je op moet letten. Vaak wordt er heel moeilijk gedaan over onderzoek. Terwijl de meest simpele dingen zoals ‘aan welke regels moet ik me houden als ik een onderzoek uit wil voeren’, niet te vinden zijn. Ik ben iemand die graag ‘back to basic gaat’. Ik merkte dat er behoefte aan was. Niet alleen onderzoekers, maar ook gamebedrijven willen graag een leidraad voor het meten van effectiviteit.

“Niet alleen onderzoekers, maar ook gamebedrijven willen graag een leidraad voor het meten van effectiviteit.”

En welke ‘regels’ heb je voor ons gevonden?

In mijn doctoraat heb ik een raamwerk gemaakt voor verschillende typen effectiviteit die je al dan niet kunt zien bij educatieve games.  Grofweg kun je drie categorieën onderscheiden.

• Leeruitkomsten
• Motivatie-uitkomsten
• Efficiëntie-uitkomsten

 
Motivatie- en efficiëntie- uitkomsten zijn belangrijk om in acht te nemen, maar die moeten wel in verhouding staan met het leerrendement. Als de game 50% kost van een traditionele methode, maar er wordt ook maar de helft geleerd, is dat natuurlijk geen effectieve game.

Maar hoe moeten we die leeruitkomsten dan meten?

Sommige onderzoekers meten leerresultaat bij de speler zelf of vragen om de eigen reflectie op het leren. Andere onderzoekers vragen de leerkracht of ouders om een inschatting. En die verschillen in aanpak, die zijn tot op een bepaalde hoogte juist goed.

Eigenlijk gaat het erom dat je eerst moet kijken naar de doelstelling van de game en dan bepaalt welke manier van effectiviteit meten past bij de situatie. Dat is belangrijker dan krampachtig vasthouden aan wetenschappelijke conventies.

Ook belangrijk is de manier waarop mensen toegewezen worden aan de traditionele- of de game-conditie. Zo hebben we bijvoorbeeld gezien dat de mate van self-efficacy (de mate waarin de student denkt de taak aan te kunnen), de attitude ten opzichte van het leerinstituut (de school) en de leraar verschil in testscores kunnen verklaren. Dat geldt ook voor de houding ten opzichte van het leren via een bepaald medium en het krijgen van een les over een bepaald onderwerp. Dit is superbelangrijk als je voor de effectmeting mensen op vrijwillige basis in een game conditie plaats laat nemen. Die hebben waarschijnlijk een bovengemiddeld positieve houding en dat heeft invloed op de resultaten. Je kunt beter zelf de mensen in groepen verdelen.

“Het is belangrijk om datgene te meten wat relevant is op een manier die past bij de doelstelling.”

Wat was jouw belangrijkste nieuwe inzicht?

Vaak is goed onderzoek ook heel tijdrovend en niet haalbaar binnen het budget van een serious game. Ik wilde een balans vinden tussen het ideale en het praktisch haalbare. In het eerste deel van mijn onderzoek heb ik een protocol opgezet over ‘hoe het moet’. Wat is effectiviteit, hoe moet je onderzoek opzetten etc. Daarbij was ik best wel streng. In het begin heb me echt wel boos gemaakt over al die verschillen tussen de onderzoeken. Iedereen kan zich toch gewoon aan de basisregels houden.

In het tweede deel van mijn doctoraat ben ik mijn eigen protocol toe gaan passen. In een onderwijssetting, in het bedrijfsleven en in de gezondheidszorg. Om te kijken tegen welke praktische problemen je aan loopt. Het toepassen in de praktijk heeft mijn beeld wel genuanceerd. Er is een reden voor de verschillen tussen al die studies.

“Er is een reden voor de verschillen tussen al die studies.”

Kun je een praktijkvoorbeeld geven?

Ik had een studie gedaan in een ziekenhuis. Die hadden een game laten ontwikkelen voor hun brandveiligheidsopleiding. Iedereen moet elk jaar die opleiding volgen omdat je moet weten wat er moet gebeuren als er een brand is. Bijvoorbeeld als er een immobiele patiënt geëvacueerd moet worden. Tijdens het doen van de pilot bleek dat het spelen van de game veel minder lang duurde dan het bijwonen van de les. Dus toen wilde ik dat de mensen de game even lang gingen spelen als de les. Maar het ziekenhuis benoemde dat juist als een voordeel van de game, dat mensen er veel minder tijd aan kwijt zijn. De controle op tijd moet je soms ook loslaten als dat zinvol is. Dan moet je tijd meenemen als uitkomst. Je leert evenveel of meer in minder tijd. Dat is ook effectiviteit.

“Je leert evenveel of meer in minder tijd. Dat is ook effectiviteit.”

Wat zouden game ontwikkelaars anders kunnen doen?

Game ontwikkelaars willen wel graag meedoen aan onderzoek of hun spel onderbouwen met theoretische uitgangspunten, maar in de praktijk is dat toch vaak lastig in verband met budgetten en timing. Je hebt de Game Developers nodig voor de creativiteit, om het leuk en engaging te maken. Maar je hebt ook de academische wereld nodig als je een sterke theoretische basis over leren en motivatie wilt. Er moet een bepaalde interactie ontstaan tussen die twee werelden. Ze kunnen heel waardevolle input leveren aan elkaar.

Als een bedrijf een game laat maken is het ook belangrijk dat ze begrijpen dat je alles goed doordacht moet doen. Soms zie je dat er een heel plat gameformat uit de grond gestampt wordt, zonder dat er echt goed over nagedacht is. Ik heb bijvoorbeeld meegewerkt aan een studie binnen de financiële sector. Er waren 5 minigames ontwikkeld die gespeeld moesten worden tijdens kantooruren en die waren alleen beschikbaar op het netwerk van het werk. Maar wat gebeurt er? Er is geen incentive om te gaan spelen. Met de minigames verdien je punten, maar je kunt vervolgens niets doen met die punten. Als het spelontwerp niet ‘klopt’ zie je dat er niemand gaat spelen, dus dan is het spel per definitie niet effectief. Overhaast en ondoordacht ontwerp zie je helaas best wel vaak bij games.

“Als het spelontwerp niet ‘klopt’ zie je dat er niemand gaat spelen, dus dan is het spel per definitie niet effectief.”

Heb je een specifiek advies voor IJsfontein en onze klanten?

Is effectiviteit voor jou belangrijk? Ga die dan niet pas aan het einde van het traject meten. Als je uiteindelijk vindt dat het niet werkt, dan heb je ondertussen wel heel veel geld geïnvesteerd in een product waar je toch niets meer aan kunt veranderen. De oplossing daarvoor is echt om vroeg in het proces op kleine schaal met de doelgroep te gaan kijken of er vooruitgang is. Kwalitatief onderzoek is hiervoor meer geschikt dan kwantitatief onderzoek op grote schaal.

“Is effectiviteit voor jou belangrijk? Ga die dan niet pas aan het einde van het traject meten.”

Anissa werkt aan de onderzoeksgroep voor media, innovatie en communicatietechnologieën (imec-mict-UGent) die net verhuisd zijn naar het splinternieuwe kennis- en innovatiecentrum De Krook (www.dekrook.be). Anissa is beschikbaar is als consultant om opdrachtgevers bij te staan bij projecten in ontwikkeling en voor validatie trajecten. Je kunt haar bereiken via Anissa.All[@]UGent.be