De kunst van het vragen stellen (ofwel, hoe maak je een goede vragenlijst)
Marktonderzoek is veranderd, maar toch hetzelfde gebleven. Het gereedschap waarmee onderzoek wordt uitgevoerd, is nu voor iedereen beschikbaar. Iedereen kan een vragenlijst programmeren in een doe-het-zelf tool en deze laten invullen door online ingekochte respondenten. Vervolgens is het eenvoudig om een aantal automatisch gegenereerde grafieken uit te draaien en het onderzoek is klaar. Maar… als je een hamer koopt, ben je nog geen timmerman.
Deel 2 van een serie blogs over ouderwets, maar uitermate relevant vakmanschap in het marktonderzoek
Het onderstaande stuk komt uit een artikel over de inwoners van het Amazone gebied in Brazilië. Ze zijn regelmatig onderwerp van onderzoek, in dit geval in het kader van de impact van toekomstige infrastructurele projecten.
Deel 2 van een serie blogs over ouderwets, maar uitermate relevant vakmanschap in het marktonderzoek
Het onderstaande stuk komt uit een artikel over de inwoners van het Amazone gebied in Brazilië. Ze zijn regelmatig onderwerp van onderzoek, in dit geval in het kader van de impact van toekomstige infrastructurele projecten.
Ieder vel papier maakt Chico Augusto bij voorbaat zenuwachtig. Maar dan komt er een interviewer. ‘Tja,’ antwoordt hij, op de vragen die hij niet begrijpt. Als hij toch antwoord moet geven, kiest hij op de vraag: ‘Wat doet u met uw gezin in uw vrije tijd?’ voor de optie ‘Naar de stad gaan of het centrum’. ‘Vrije tijd’ is geen begrip in het leven van Chico Augusto, en naar de stad ging hij voor het eerst op zijn 78ste, om zijn geboorteacte te halen. Nog een vraag: ‘Wat doet u met uw afval?’. En Chico, die geen idee heeft wat ze bedoelen, kiest voor ‘Op een veldje gooien of op het plein’. Chico geeft de honden te eten en voor de rest maakt hij alles zelf op.
De vragen zijn opgesteld vanuit het perspectief van de onderzoeker. De respondent leeft in een wereld die zodanig anders is, dat het beantwoorden voor hem onmogelijk is. De respondent in het voorbeeld probeert er het beste van te maken. Lang niet altijd is het verschil in perspectief zo groot als in het Amazonegebied. Toch zien we vaak dat vragen vanuit de bril van de onderzoeker (of marketeer) worden geformuleerd en dat daardoor de bruikbaarheid van de antwoorden beperkt is.
De vragenlijst staat in het hart van een (kwantitatief) marktonderzoek. De vragenlijst bepaalt of de onderzoeksvragen kunnen worden beantwoord. Maar de vragenlijst heeft ook een directe invloed op de response. Een goede vragenlijst zorgt dat minder mensen afhaken en dat mensen serieuzer aan het onderzoek meedoen. Daarnaast wordt de verwerking en analyse van de data een stuk eenvoudiger als hier bij het opstellen van de vragenlijst al rekening mee is gehouden.
Het opstellen van een goede vragenlijst is daarom vakwerk. Een belangrijk onderdeel van marktonderzoek, dat desondanks te weinig aandacht krijgt. De vragenlijst is een ondergeschoven kind. Het gevolg: sturende vragen, onduidelijke vragen en zelfverstopte paaseieren. Het gevolg daarvan: verveelde respondenten, onjuiste uitkomsten en marktonderzoek waar de opdrachtgever niet mee geholpen is.
De vragenlijst staat in het hart van een (kwantitatief) marktonderzoek. De vragenlijst bepaalt of de onderzoeksvragen kunnen worden beantwoord. Maar de vragenlijst heeft ook een directe invloed op de response. Een goede vragenlijst zorgt dat minder mensen afhaken en dat mensen serieuzer aan het onderzoek meedoen. Daarnaast wordt de verwerking en analyse van de data een stuk eenvoudiger als hier bij het opstellen van de vragenlijst al rekening mee is gehouden.
Het opstellen van een goede vragenlijst is daarom vakwerk. Een belangrijk onderdeel van marktonderzoek, dat desondanks te weinig aandacht krijgt. De vragenlijst is een ondergeschoven kind. Het gevolg: sturende vragen, onduidelijke vragen en zelfverstopte paaseieren. Het gevolg daarvan: verveelde respondenten, onjuiste uitkomsten en marktonderzoek waar de opdrachtgever niet mee geholpen is.
Wat kan er mis gaan?
Wat nog al eens vergeten wordt, is wat een mens eigenlijk redelijkerwijs kan beantwoorden. Het menselijk brein is ingewikkeld en keuzes worden veelal onderbewust gemaakt. Als je het (zeer leesbare) boek van Ap Dijksterhuis, “Het slimme onbewuste” leest, realiseer je je hoe weinig mensen zelf weten van het waarom ze bepaalde dingen doen. Directe vragen naar het waarom mensen iets doen, naar het belang van keuzecriteria en naar toekomstig gedrag zijn in veel gevallen volstrekt zinloos. Mensen weten het gewoon niet. Toch beantwoorden respondenten dit soort vragen naar eer en geweten en de antwoorden worden verwerkt als ware het de waarheid.
Kijk eens naar de onderstaande vraag (zoals we die daadwerkelijk regelmatig tegenkomen). Probeer hem eens voor jezelf te beantwoorden.
Wanneer u de totale kijktijd in een gemiddelde week op 100% stelt, kunt u dan aangeven hoeveel procent van uw kijktijd u naar elke zender kijkt? U heeft dus in totaal 100% om over de zenders te verdelen.
Nederland 1 ___%
Nederland 2 ___%
Nederland 3 ___%
RTL 4 ___%
RTL 5 ___%
SBS 6 ___%
Discovery, National Geographic of Animal Planet ___%
Etc.
Kun je hier een realistisch antwoord op geven? Nee. Je moet een heel aantal stappen doorlopen en een complexe rekensom maken om per zender tot een percentage te komen dat in de buurt komt van de werkelijkheid. En dan is er nog een aantal complicaties: Wat doe je met tijd die je aan het zappen bent? Tel je die mee of reken je alleen de tijd die je echt naar een programma kijkt? En wat is precies een ‘gemiddelde week’? Als er voetbal op TV is, is dat dan een gemiddelde week, of maakt dat de week juist afwijkend van het gemiddelde?
Wat nog al eens vergeten wordt, is wat een mens eigenlijk redelijkerwijs kan beantwoorden. Het menselijk brein is ingewikkeld en keuzes worden veelal onderbewust gemaakt. Als je het (zeer leesbare) boek van Ap Dijksterhuis, “Het slimme onbewuste” leest, realiseer je je hoe weinig mensen zelf weten van het waarom ze bepaalde dingen doen. Directe vragen naar het waarom mensen iets doen, naar het belang van keuzecriteria en naar toekomstig gedrag zijn in veel gevallen volstrekt zinloos. Mensen weten het gewoon niet. Toch beantwoorden respondenten dit soort vragen naar eer en geweten en de antwoorden worden verwerkt als ware het de waarheid.
Kijk eens naar de onderstaande vraag (zoals we die daadwerkelijk regelmatig tegenkomen). Probeer hem eens voor jezelf te beantwoorden.
Wanneer u de totale kijktijd in een gemiddelde week op 100% stelt, kunt u dan aangeven hoeveel procent van uw kijktijd u naar elke zender kijkt? U heeft dus in totaal 100% om over de zenders te verdelen.
Nederland 1 ___%
Nederland 2 ___%
Nederland 3 ___%
RTL 4 ___%
RTL 5 ___%
SBS 6 ___%
Discovery, National Geographic of Animal Planet ___%
Etc.
Kun je hier een realistisch antwoord op geven? Nee. Je moet een heel aantal stappen doorlopen en een complexe rekensom maken om per zender tot een percentage te komen dat in de buurt komt van de werkelijkheid. En dan is er nog een aantal complicaties: Wat doe je met tijd die je aan het zappen bent? Tel je die mee of reken je alleen de tijd die je echt naar een programma kijkt? En wat is precies een ‘gemiddelde week’? Als er voetbal op TV is, is dat dan een gemiddelde week, of maakt dat de week juist afwijkend van het gemiddelde?
Eisen aan een goede vragenlijst
Vroeger kreeg de vragenlijst meer aandacht. Maar tegenwoordig worden vragenlijsten nauwelijks nog getest in een pilot op betrouwbaarheid en validiteit. Omdat marktonderzoek sneller moet, schiet dit er bij in. Ook is er vaak geen tijd om een multi-item schaal te ontwikkelen waarmee op een meer betrouwbare wijze begrippen (‘constructen’) gemeten kunnen worden. Dit leidt tot te simpele, directe vraagstellingen waarmee het de vraag is of gemeten wordt wat beoogd wordt te meten. Zie het onderstaande voorbeeld waarmee de bedenker (vermoedelijk) bedoeld heeft te meten of bezoek aan fastfoodketens een impulsbeslissing is of niet:
Vroeger kreeg de vragenlijst meer aandacht. Maar tegenwoordig worden vragenlijsten nauwelijks nog getest in een pilot op betrouwbaarheid en validiteit. Omdat marktonderzoek sneller moet, schiet dit er bij in. Ook is er vaak geen tijd om een multi-item schaal te ontwikkelen waarmee op een meer betrouwbare wijze begrippen (‘constructen’) gemeten kunnen worden. Dit leidt tot te simpele, directe vraagstellingen waarmee het de vraag is of gemeten wordt wat beoogd wordt te meten. Zie het onderstaande voorbeeld waarmee de bedenker (vermoedelijk) bedoeld heeft te meten of bezoek aan fastfoodketens een impulsbeslissing is of niet:
Een goede vragenlijst vormt de kern van zinvol en bruikbaar kwantitatief marktonderzoek. Bij het opstellen van een goede vragenlijst wordt aandacht besteed aan de volgende aspecten:
- Wat wordt gemeten? Ofwel, kunnen met de onderwerpen die in de vragenlijst worden aan bod komen alle onderzoeksvragen worden beantwoord? En andersom: draagt elke vraag in de vragenlijst bij aan het antwoord op een onderzoeksvraag?
- Hoe wordt gemeten ofwel hoe worden de vragen gesteld: Hieronder vallen de volgende aspecten:
- Meten we wat we willen meten op de juiste manier (ofwel, validiteit en betrouwbaarheid)
- Maken we het de respondent zo leuk en makkelijk mogelijk?
- Is de data die de vragenlijst oplevert goed en eenvoudig te verwerken tot antwoorden op de onderzoeksvragen?
Marketingvraag, informatiebehoefte, enquêtevraag
Het opstellen van een goede vragenlijst begint altijd vanuit de marketingvragen (welke beslissingen wil men kunnen nemen?). Als het goed is, zijn de marketingvragen zorgvuldig vertaald naar onderzoeksvragen (wat moeten we weten om die beslissing te kunnen maken?) en die vervolgens weer naar enquêtevragen (wat vragen we aan de respondent?). Op deze manier heeft elke vraag die in de vragenlijst is opgenomen een directe relatie met het probleem dat de opdrachtgever wil oplossen. En andersom, we weten zeker dat elke onderzoeksvraag wordt beantwoord met behulp van het onderzoek.
Een eenvoudig voorbeeld van deze drie-eenheid:
Als deze stappen zorgvuldig worden doorlopen, is de kans groot dat alle vragen die je stelt, bruikbare informatie opleveren. En je minimaliseert de kans dat cruciale vragen ontbreken.
Het opstellen van een goede vragenlijst begint altijd vanuit de marketingvragen (welke beslissingen wil men kunnen nemen?). Als het goed is, zijn de marketingvragen zorgvuldig vertaald naar onderzoeksvragen (wat moeten we weten om die beslissing te kunnen maken?) en die vervolgens weer naar enquêtevragen (wat vragen we aan de respondent?). Op deze manier heeft elke vraag die in de vragenlijst is opgenomen een directe relatie met het probleem dat de opdrachtgever wil oplossen. En andersom, we weten zeker dat elke onderzoeksvraag wordt beantwoord met behulp van het onderzoek.
Een eenvoudig voorbeeld van deze drie-eenheid:
- Marketingvraag: Moeten we dit nieuwe product wel of niet introduceren?
- Onderzoeksvraag: Hoe groot is de aankoopintentie van de doelgroep voor dit nieuwe product?
- Enquêtevraag: Zou u dit product kopen als dit te koop zou zijn voor x in uw supermarkt?
Als deze stappen zorgvuldig worden doorlopen, is de kans groot dat alle vragen die je stelt, bruikbare informatie opleveren. En je minimaliseert de kans dat cruciale vragen ontbreken.
|
Meer leren?
Er valt veel te vertellen over hoe je een goede vragenlijst opstelt en hoe je de valkuilen ontloopt. In de whitepaper ‘De kunst van het vragen stellen’ behandelen we de valkuilen en laten we zien hoe je stapsgewijs tot een effectieve en efficiënte vragenlijst komt. Je kunt de whitepaper aanvragen via de contactpagina. Ik geef regelmatig een masterclass over vragenlijst ontwerp. Aan de hand van een helder stappenplan doorlopen we het hele proces en staan we stil bij de mogelijke valkuilen. Meer informatie over deze masterclass vind je hier. Durk Bosma is marktonderzoekspecialist. Met zijn bedrijf Inzicht & Impact helpt hij opdrachtgevers met het effectief en efficient inzetten van marktonderzoek. Hij is co-auteur van het standaardwerk ‘Wat is de vraag?’, over hoe je marktonderzoek zo opzet dat het precies antwoord geeft op de juiste onderzoeksvragen. Hij is als kerndocent verbonden aan Beeckestijn Business School. |
Wij helpen marketeers om de juiste keuzes te maken, op basis van helder en gedegen inzicht in de doelgroep en de markt.
We zijn gespecialiseerd in duurzaam consumentengedrag en maatschappelijk relevante vraagstukken. Op deze manier helpen wij impact te maken.
+31(0)6 1423 2441
durkbosma@inzichtimpact.nl
Wilhelmina van Pruisenweg 35
2595 AN Den Haag
