De significante steekproef en andere misverstanden
Marktonderzoek is veranderd, maar toch hetzelfde gebleven. Het gereedschap waarmee onderzoek wordt uitgevoerd, is nu voor iedereen beschikbaar. Iedereen kan een vragenlijst programmeren in een doe-het-zelf tool en deze laten invullen door online ingekochte respondenten. Vervolgens is het eenvoudig om een aantal automatisch gegenereerde grafieken uit te draaien en het onderzoek is klaar. Maar… als je een hamer koopt, ben je nog geen timmerman.
Deel 1 van een serie blogs over ouderwets, maar uitermate relevant vakmanschap in het marktonderzoek
Marktonderzoek levert marketeers een zeer nuttige spiegel op. Maar ondervraag je de verkeerde of onvoldoende mensen, dan wordt het een lachspiegel die een vervormd beeld geeft. In deze blog zet ik een aantal aandachtspunten op een rijtje, waarmee je voorkomt dat je straks in zo’n lachspiegel kijkt.
Als je onderzoek gaat doen door middel van het ondervragen van mensen, sta je op een gegeven moment stil bij de vraag welke mensen en hoeveel mensen je wilt ondervragen. Daaraan gekoppeld is de vraag waar je die mensen vindt. Je betreedt het terrein ‘steekproef’, één van de lastigste onderwerpen in marktonderzoek.
De theorie achter steekproeftrekking vertelt ons het volgende:
Deel 1 van een serie blogs over ouderwets, maar uitermate relevant vakmanschap in het marktonderzoek
Marktonderzoek levert marketeers een zeer nuttige spiegel op. Maar ondervraag je de verkeerde of onvoldoende mensen, dan wordt het een lachspiegel die een vervormd beeld geeft. In deze blog zet ik een aantal aandachtspunten op een rijtje, waarmee je voorkomt dat je straks in zo’n lachspiegel kijkt.
Als je onderzoek gaat doen door middel van het ondervragen van mensen, sta je op een gegeven moment stil bij de vraag welke mensen en hoeveel mensen je wilt ondervragen. Daaraan gekoppeld is de vraag waar je die mensen vindt. Je betreedt het terrein ‘steekproef’, één van de lastigste onderwerpen in marktonderzoek.
De theorie achter steekproeftrekking vertelt ons het volgende:
Als je van een bepaalde groep mensen wilt weten hoe ze over iets denken, hoef je niet de hele groep te ondervragen, maar krijg je met het ondervragen van een deel ook een behoorlijk goed beeld.
Voorwaarde is wel dat de groep die je onderzoekt voldoende groot is en een goede afspiegeling is van de totale groep waarover je iets wilt weten
Je moet een aantal keuzes maken om de gewenste steekproef voor een onderzoek te bepalen, onder andere over de gewenste samenstelling van je steekproef en de grootte ervan.
Wat is een ‘goede’ steekproef?
Voor ik verder ga, wil ik eerst een misverstand uit de wereld helpen. Vaak wordt gedacht dat een grote steekproef automatisch een goede, want representatieve steekproef is. Dit is geenszins het geval. Als een steekproef geen goede weergave is van de groep mensen waarover je iets wilt zeggen, maakt het niet uit hoe groot deze is, je zult nooit een goede steekproef hebben. Kijk eens naar de onderstaande voorbeelden en bedenk welke van deze steekproeven de beste is:
Het antwoord op de vraag wat de beste steekproef is, kan je zo niet geven. Dit wordt namelijk bepaald door de vraag over wie we iets te weten willen komen. Maar laat duidelijk zijn dat de website van Kassa vaak bezocht zal worden door zelfbewuste, kritische consumenten en daarmee vormen ze een afwijkende groep. Tenzij…. de populatie waarover je uitspraken wilt doen, bestaat uit de bezoekers van die website. Hetzelfde geldt voor het winkelend publiek in de Kalverstraat. Wellicht enigszins representatief voor winkelend publiek in Amsterdam, maar niet representatief voor heel Nederland. Stel bijvoorbeeld dat je onderzoek zou doen naar de bekendheid van musea. Ga je uitsluitend in de Kalverstraat interviewen, dan kun je er op wachten dat je de bekendheid van Amsterdamse musea overschat.
Denk dus na over hoe de groep mensen (populatie) waarover je onderzoek gaat, er uit ziet. Dit kun je doen in een paar stappen:
Wat is een ‘goede’ steekproef?
Voor ik verder ga, wil ik eerst een misverstand uit de wereld helpen. Vaak wordt gedacht dat een grote steekproef automatisch een goede, want representatieve steekproef is. Dit is geenszins het geval. Als een steekproef geen goede weergave is van de groep mensen waarover je iets wilt zeggen, maakt het niet uit hoe groot deze is, je zult nooit een goede steekproef hebben. Kijk eens naar de onderstaande voorbeelden en bedenk welke van deze steekproeven de beste is:
- 20.000 bezoekers van de website van het consumentenprogramma Kassa
- 500 mensen die tijdens het winkelen in de Kalverstraat op zaterdagmiddag worden aangesproken
- 25 willekeurig gekozen huisvrouwen die telefonisch benaderd worden
Het antwoord op de vraag wat de beste steekproef is, kan je zo niet geven. Dit wordt namelijk bepaald door de vraag over wie we iets te weten willen komen. Maar laat duidelijk zijn dat de website van Kassa vaak bezocht zal worden door zelfbewuste, kritische consumenten en daarmee vormen ze een afwijkende groep. Tenzij…. de populatie waarover je uitspraken wilt doen, bestaat uit de bezoekers van die website. Hetzelfde geldt voor het winkelend publiek in de Kalverstraat. Wellicht enigszins representatief voor winkelend publiek in Amsterdam, maar niet representatief voor heel Nederland. Stel bijvoorbeeld dat je onderzoek zou doen naar de bekendheid van musea. Ga je uitsluitend in de Kalverstraat interviewen, dan kun je er op wachten dat je de bekendheid van Amsterdamse musea overschat.
Denk dus na over hoe de groep mensen (populatie) waarover je onderzoek gaat, er uit ziet. Dit kun je doen in een paar stappen:
- Wat zijn relevante kenmerken? Doe je bijvoorbeeld onderzoek over bepaalde politieke issues, dan is de politieke voorkeur een belangrijk kenmerk.
- Hoe ziet de populatie eruit, kijkend naar die kenmerken? In het voorbeeld zou je kunnen kijken naar de laatste verkiezingsuitslag en die als uitgangspunt nemen voor de gewenste samenstelling van je steekproef.
- Controleer of je steekproef genoeg lijkt op deze groep mensen. Dit doe je door een aantal vragen stellen over op welke partij men de laatste keer gestemd heeft.
- Wazige finishfoto
80% is niet 80%. Onderzoek onder een steekproef levert definitie een afwijking op. Zolang je je bewust bent van deze afwijking, je realiseert hoe groot die afwijking kan zijn en je je best doet om die afwijking zo klein mogelijk te houden, hoeft dit geen bezwaar te zijn.
Er zijn twee soorten afwijkingen. Ten eerste is er vertekening. Dit komt bijvoorbeeld omdat je een groep mensen ondervraagt die niet helemaal representatief is voor de populatie. Maar er zijn ook andere oorzaken van vertekening, bijvoorbeeld een sturende vraagstelling. Vertekening is lastig, omdat je nooit weet hoe groot de vertekening is en je er niet voor kunt compenseren. Het enige wat je er aan kunt doen, is er voor zorgen dat mogelijke bronnen van vertekening een zo klein mogelijke invloed hebben.
En dan is er ruis. Door toevallige afwijkingen kan de uitkomst van het onderzoek afwijken van de werkelijkheid. Ruis is minder erg dan vertekening, omdat je gemiddeld genomen wel op de werkelijkheid uitkomt. Ook geldt dat hoe groter de steekproef, hoe minder groot de kans op toevallige afwijkingen en dus hoe minder ruis. We kunnen compenseren voor ruis door marges in acht te nemen. Je kunt ruis zien als een wazige foto. Hoe kleiner de steekproef, hoe groter de ruis en hoe waziger de foto. En hoe groter de steekproef, hoe scherper de foto. Hoe wazig de foto is, kun je berekenen.
Wat is ook al weer een significantietoets?
Ter illustratie wat cijfers. Stel, je hebt een onderzoek gedaan onder 75 mannen en 75 vrouwen. Er komt uit dat 45% van de mannen de voorkeur heeft voor een advertentie met een blauwe achtergrond en 60% van de vrouwen de voorkeur voor een advertentie met een groene achtergrond. Mogen we dan concluderen dat vrouwen en mannen een afwijkende voorkeur hebben? Nee. Want wat we in werkelijkheid weten, is dat, met 95% betrouwbaarheid, tussen de 33,7% en 56,3% van de mannen de voorkeur hebben blauw en tussen de 48,9% en 71,1% van de vrouwen een voorkeur heeft voor een groene achtergrond. Omdat deze intervallen elkaar voor een behoorlijk deel overlappen, kunnen we er dus niet helemaal zeker van zijn dat er daadwerkelijk een verschil is (de kans is minder dan 95%). Zou je in plaats van 75 mannen en 75 vrouwen 100 mannen en 100 vrouwen ondervraagd hebben, dan overlapt het interval nog steeds een klein beetje, maar de kans dat de voorkeuren in werkelijkheid verschillend is, is groter dan 95%. En zou je in plaats van 95% betrouwbaarheid 90% betrouwbaarheid voldoende vinden, dan zou je ook kunnen concluderen dat (bij de steekproefgrootte van 75) mannen en vrouwen een afwijkende voorkeur hebben.
Wat ik hierboven omschreven heb, is de uitkomst van een significantietoets. Je kunt er verschillende van vinden op het internet, in de meeste gevallen gratis en eenvoudig te gebruiken.
De boodschap dat een cijfer niet zo nauwkeurig is als je dat je zou willen, is een lastige voor gebruikers van marktonderzoek.
Relevantie belangrijker dan significantie
In commercieel marktonderzoek wordt vaak met kleinere steekproeven gewerkt. Uit praktische overwegingen, een grotere steekproef is vaak niet realiseerbaar of simpelweg te duur. Vaak wordt een totale steekproef van n=150 als voldoende beschouwd, terwijl de minimale n voor subgroepen op 75 wordt gesteld. Op zich niet erg, maar het betekent wel dat je volgens de regels van de statistiek weinig significante verschillen zult vinden. Staar je dus niet blind op significantietoetsen, die gaan je weinig leren. Belangrijker is de vraag, is een verschil relevant? Vind je een logisch patroon over meerdere vragen? Voor deze vragen zijn er geen harde criteria en daarmee wordt de interpretatie van kwantitatief onderzoek kwalitatiever van aard. Je moet er als onderzoeker iets van vinden. Dit is moeilijker dan simpelweg een harde toets op de cijfers loslaten en vergt enige ervaring en ook overtuigingskracht van de kwantitatieve onderzoeker.
Zes vragen die je helpen om de juiste keuzes te maken
Vooraf nadenken helpt om te voorkomen dat je achteraf moet concluderen dat je onderzoek niet optimaal is, omdat er iets mis is met de steekproef. De onderstaande vragen beantwoorden helpt je om alles op rijtje te hebben (vooraf):
- Hoe ziet de populatie eruit, ofwel de groep mensen waarop ik iets wil kunnen zeggen?
- Op welke belangrijke kenmerken wil ik dat de steekproef representatief is?
- Welke vragen moet ik stellen om vast te stellen wat de kwaliteit van mijn steekproef is?
• Selectievragen/quota
• Controlevragen - Hoe vind ik de juiste mensen?
- Hoe nauwkeurig en betrouwbaar wil ik dat de resultaten zijn?
- Hoe kan ik ervoor zorgen dat ze bereid zijn om mee te doen aan mijn onderzoek?
|
Meer leren?
Deze vragen en hun consequenties behandelen we in de whitepaper ‘Over steekproeven’, die gratis kunt aanvragen via het contactformulier. Wil je meer leren over de basisbeginselen van kwantitatief onderzoek? Regelmatig geef ik een workshop over dit onderwerp. Naast het onderwerp steekproef komt het veldwerk en de rapportage aan de orde. Meer informatie vind je hier. Durk Bosma is marktonderzoekspecialist. Met zijn bedrijf Inzicht & Impact helpt hij opdrachtgevers met het effectief en efficiënt inzetten van marktonderzoek. Hij is co-auteur van het standaardwerk ‘Wat is de vraag?’, over hoe je marktonderzoek zo opzet dat het precies antwoord geeft op de juiste onderzoeksvragen. Hij is als kerndocent verbonden aan Beeckestijn Business School. |
Wij helpen marketeers om de juiste keuzes te maken, op basis van helder en gedegen inzicht in de doelgroep en de markt.
We zijn gespecialiseerd in duurzaam consumentengedrag en maatschappelijk relevante vraagstukken. Op deze manier helpen wij impact te maken.
+31(0)6 1423 2441
durkbosma@inzichtimpact.nl
Wilhelmina van Pruisenweg 35
2595 AN Den Haag
