Kwaliteit laat zich beter dan nu in de NSE wordt gedaan, meten en evalueren

NIDAP gaat in haar studenttevredenheidsonderzoek uit van een andere benadering. Studenttevredenheid en onderwijskwaliteit wordt door ons anders geoperationaliseerd. Een student is geen consument in de gewone betekenis. Hij of zij moet primair moet dingen leren en zich persoonlijk ontwikkelen. Het gaat niet alleen om het afnemen van een product (de opleiding) en de 'beleving' en beoordeling van de kwaliteit en organisatie. Het gaat ook om de eigen inzet, rol en betrokkenheid bij de leeronderwerpen, de stof maar ook om (de mate van) studentwelzijn. Denk daarbij aan vragen over in hoeverre de student meent zich persoonlijk te hebben ontwikkeld, een veilige leeromgeving heeft ervaren, empowered is voor een werkzaam leven. Andere vragen zijn of de student zich voelt uitgedaagd door de opleiding , of men meer doet of heeft gedaan dan nodig is om een voldoende of het diploma te halen, of men actief is bij werkgroepen, of neemt men zelf actief deelneemt aan extra-curriculaire activiteiten, et cetera. Belangrijk bij studenttevredenheidsonderzoek is om in het design rekening te houden met de verschillende groepen van sub-studenten zoals ‘‘nieuwelingen”, “minderheden”, “parttimers” en studenten met “persoonlijke kwetsbaarheden”.

Het studentonderzoek van NIDAP is gebaseerd op wetenschappelijk gevalideerde vragenlijsten zoals die in andere landen, waaronder Canada en de VS, al meerdere jaren worden gebruikt. Daarnaast leren wij van gedragswetenschappelijk onderzoek dat wordt verricht worden door diverse Nederlandse universiteiten.

NSE

Al sinds jaar en dag neemt Stichting Studiekeuze123, in opdracht van het ministerie van OCW, de Nationale Studentenenquête (NSE) af. De NSE wordt veel door onderwijsinstellingen gebruikt om hun opleidingen te promoten en om de kwaliteit van hun opleidingen te bewaken.

De NSE is vanaf 2019 vernieuwd. De studentbetrokkenheid is o.a. geoperationaliseerd in de mate waarin studenten hun best doen zelf iets van hun opleiding te maken: hoeveel tijd steken ze in hun opleiding, zijn ze gemotiveerd, doen ze hun best? Er is vanuit hogescholen ook wel kritiek geuit op dit onderzoek. Met name als de hogeschool niet goed scoort. De uitkomsten van de NSE bieden echter te weinig betrouwbare en inhoudelijke input waarmee de kwaliteit van het onderwijs kan worden beoordeeld, laat staan verbeterd. Dit is zonde, juist omdat zo veel onderwijsinstellingen jaarlijks deelnemen aan de NSE. Eigenlijk zou de totale NSE-dataset meer verklarend inzicht moeten geven in onderwijskwaliteit en studentwelzijn.

Vraagstelling

Nationale studentenenquêtes hebben als neveneffect dat het management in het hoger onderwijs vooral waardeert wat hoog scoort op die enquête. Het is namelijk één van de weinige, cijfermatige en dus ‘objectieve’ middelen waarop opleidingen worden getoetst. De vraagstelling doet er dus toe.

Een blik op de vragenlijst van de NSE laat zien dat veruit de meeste vragen gaan over hoe tevreden studenten zijn met verschillende onderdelen van de opleiding; hun docenten, aanwezige faciliteiten, mate van begeleiding, presentatie van de lesstof, et cetera. Over al deze onderdelen kunnen studenten op een Likert-schaal oordelen hoe tevreden ze ermee zijn (van zeer ontevreden tot zeer tevreden). De NSE is er dus vooral op gericht om studenttevredenheid te meten. Wordt op deze manier wel de kwaliteit van een opleiding gemeten? In andere woorden: is een studie met een hoge studenttevredenheid ook een goede opleiding?

Wat goed scoort hoeft niet automatisch goed te zijn voor de kwaliteit van het onderwijs, zo stellen onderzoekers in een recent gepubliceerd internationaal onderzoek naar verschillende nationale studentenenquêtes, waaronder de NSE.

De onderzoekers stellen dat de manier waarop enquêtes zoals de NSE zijn samengesteld studenten reduceren tot beoordelaars van een product: hun opleiding. De student krijgt de passieve rol van consument toebedeelt in deze enquêtes. Dit doet geen recht aan de actieve rol die moet worden aangenomen door studenten in hun leerproces. De onderzoekers stellen dan ook voor dat beleidsmakers, bestuurders, opleidingsdirecteuren en opleidingsmanagers in het hoger onderwijs studentenenquêtes op een andere manier moeten vormgeven, waarbij op een nieuwe en hedendaagse manier gekeken wordt naar feedback waarin de rol van de student zelf actief betrokken wordt in de enquête.

LLO: Net promoter score (NPS)

NIDAP meet in haar LLO monitorstudies de loyaliteit (en tevredenheid) van afnemers van bedrijfsopleidingen en trainingen door middel van de net promoter score.  Deze score toont de tevredenheid van klanten, maar laat ook zien of klanten uw bedrijf zouden aanbevelen aan vrienden. De NPS uit onze monitorstudies biedt opleiders een simpele manier om de eigen score te vergelijken met die van de concurrentie.

Klanten wordt gevraagd hun waardering te geven op een schaal van 0-10 punten. Deze NPS-schaal is opgesplitst in drie categorieën te weten 'Criticasters’ (schoolcijfer 0 - 6), 'Passief tevredenen’ (7 - 8) en ‘Promotors’ (9 - 10). Het is een simpele manier om klanten te onderscheiden.

Diverse onderzoeken onder andere van de Harvard Business Review, Satmetrix en Bain & Company hebben een sterk verband tussen een hoge Net Promotor Score en meer omzet aangetoond. Ook blijkt dat bedrijven die gebruikmaken van de NPS-vraag en -daadwerkelijk sturen op de uitkomsten- meer omzet realiseren.

De NPS methode kent ook beperkingen

De NPS is de makkelijkste manier om te meten hoe waarschijnlijk het is dat klanten terugkeren. De methode geeft echter weinig inzicht in de redenen waarom klanten Criticasters zijn. Daarom bestaan er ook meer uitgebreide klanttevredenheids-enquêttes zoals bijvoorbeeld de CSAT (Customer Satisfaction Score). Door middel van deze vragenlijst kan op een vijfpunts Likertschaal (van zeer belangrijk tot zeer onbelangrijk) worden gemeten hoe belangrijk men -bijvoorbeeld- de mogelijkheid van e-learning (en nog circa 10 tot 20 andere aspecten) vindt bij de keuze van een opleider. Een online CSAT-peiling kan ook voor en na de training of collegereeks worden verstuurd om bepaalde veranderingen in inzichten te meten.

Bent u hogeschool, universiteit of een landelijk opererende opleider? Zeer waarschijnlijk hebben wij dan -meerjarig- uw positie bij werkgevers en werknemers in relatie tot andere aanbieders in beeld. NIDAP is haar relaties ook behulpzaam bij het uitvoeren of opzetten van uw eigen onderzoek naar de tevredenheid en loyaliteit van klanten (b2b), cursisten en alumni. Wij brengen 25 jaar ervaring mee.