De polls hebben altijd ongelijk, leve de polls!
Het eerste wat ik leerde toen ik in 1961 in het markt- en opinieonderzoek terecht kwam, was dat ik moest ophouden te denken een uniek wezen te zijn. Iedereen behoort tot een percentage van de bevolking.
Het tweede wat ik leerde was dat dit vak nooit een wetenschap zal worden omdat één essentiële voorwaarde daarvoor ontbreekt: de vrije uitwisseling van informatie. Elk opinieonderzoekbureau heeft z'n eigen methoden en vraagstellingen en uitwisseling van kennis en ervaring vindt zelden plaats.
Het derde wat me duidelijk werd was dat in de publiciteit de antwoordpercentages alle aandacht krijgen en dat niemand zich afvraagt hoe de vraag precies luidde en of die misschien bepaalde antwoorden uitlokte.
Een vierde les: ondervraagden reageren verschillend als de enquête bij hen thuis plaats vindt, of telefonisch of schriftelijk of online.
En het belangrijkste: een slechte steekproef kan nooit goede resultaten opleveren.
Al deze vijf zaken spelen een rol bij de onderzoeken waar op dit moment de belangstelling vooral naar uit gaat: de politieke barometers, de polls..
Internetpanels
Alle landelijke opiniepolls worden gehouden via internetpanels, bestaande uit Nederlanders die soms geronseld zijn maar merendeels zichzelf aangemeld hebben om vragen online te beantwoorden. Dat maakt verschil. In de eerste plaats omdat ouderen, lager opgeleiden en allochtonen minder vaak internetters zijn. Bovendien is de kans groot dat degenen die zichzelf aanmelden voor het (onbetaald) invullen van enquêtes qua persoonlijkheid en interessen verschillen van degenen die niet meedoen aan panels.
Deze zaken zorgen er voor dat geen enkel internetpanel een representatieve steekproef van de stemgerechtigde Nederlanders kan opleveren. Onderzoekbureaus erkennen dat grif, maar helaas is er geen betere manier beschikbaar om gegevens te verzamelen (zie kader). Via zogenoemde 'herwegingen' naar leeftijd, geslacht, opleiding en vorig stemgedrag proberen onderzoeksbureaus ervoor te zorgen dat hun steekproef zo goed mogelijk lijkt op wat het zou moeten zijn: een representatieve vertegenwoordiging van stemgerechtigden. Maar zo'n herweging heeft beperkingen. De mening van de doodenkele slecht opgeleide oudere Marokkaanse Nederlander die in het panel zit, zou misschien tien, misschien twintig, misschien wel honderd stemmen extra moeten krijgen om zijn bevolkingsgroep te vertegenwoordigen. Dat is te riskant, omdat deze eenzame Marokkaan wel eens een afwijkend profiel kan hebben. Daarom worden kleine groepen allochtonen geheel buiten beschouwing gelaten. Wat men in de herweging doet met panel-deelnemers die de vorige keer niet gestemd hebben is vaak onduidelijk en ook de vraag of nieuwe 18+-stemmers in de meting betrokken worden blijft bij de meeste bureaus onbeantwoord in de verantwoording.
Maakt dat veel uit? Dat weet niemand, om de simpele reden dat alle polls via dit soort internetpanels gedaan worden en de werkelijkheid dus niet bekend is. Je kan wel zien (het best op de website frontbencher.nl) dat de verschillende bureaus in hun schattingen van het stemgedrag vaak fors uiteenlopen: bij de grote partijen scheelt het meestal zo'n 6 of 7 zetels, bij de kleinere 4 á 5. En dan laat ik de afwijkingsmarges die erbij horen nog buiten beschouwing.
De bureaus vechten onderling vetes uit over wie de beste vraagstelling heeft en wie de cijfers het meest of het minst manipuleert als er grote verschillen met de vorige meting zijn.
Daar kan de oorzaak liggen van de verschillen. Maar ook telt dat van de aangezochte paneldeelnemers vaak maar een deel (soms maar 40%) de enquête invult tijdens de twee dagen die daarvoor meestal beschikbaar zijn. Dat geeft een oververtegenwoordiging van mensen die óf extra tijd hebben, óf meer belangstelling voor politiek of beide.
Een ander heikel punt is de schatting van de opkomst. Onderzoeksbureaus maken elk hun eigen inschatting van de kans dat een respondent daadwerkelijk gaat stemmen.
Momentopname
Kortom, de cijfers die opiniepolls aangeven kúnnen door al deze factoren eigenlijk niet in overeenstemming zijn met de werkelijkheid. En zelfs áls het al mogelijk zou zijn betrouwbare resultaten te krijgen dan zijn opiniepolls op z'n best een momentopname. Dat wordt ook door alle bureaus - alleen al uit eigenbelang - benadrukt, sinds in 1986 iedereen er op grond van de polls van uit ging dat de PvdA de grootste partij zou worden, maar uiteindelijk het CDA dat werd. Er was na de laatste peiling een lijsttrekkersdebat geweest dat door Lubbers (CDA) werd gewonnen, dát maakte het verschil. Hadden voor die tijd ook de peilers het vaak over 'voorspellingen', na deze afstraffing werd het 'peilingen'. Maar in de pers worden ze toch vaak gebracht als prognoses.
Er is - tot slot - nog één probleem met opiniepolls: ze beïnvloeden het kiesgedrag en bijten zichzelf dus in de staart. Bij de vorige verkiezingen ging het zelfs zover dat - op grond van peilingen - linkse kiezers gingen overwegen strategisch op de PvdA te stemmen om te voorkomen dat de VVD de grootste partij zou worden.
Zijn opiniepolls dan waardeloos?
Integendeel.
Maar de waarde ligt niet in het vaststellen van het aantal zetels dat een partij zou kunnen krijgen.
De waarde ligt in de trend die de polls vaststellen. Hoe fout de steekproef ook is, als je consequent dezelfde fout maakt en de PvdA blijkt bij iedere peiling steeds minder zetels te krijgen, dan is dát wel degelijk een betrouwbaar gegeven. Zo mag op grond van de verkiezingsenquêtes van de afgelopen maanden en jaren verwacht worden dat de PVV in de lift zit en de PvdA op verlies afstevent. Toch is ook hier voorzichtigheid geboden want in tegenstelling tot 50 jaar geleden, toen vaak op grond van geloof of positie in de maatschappij gekozen werd en stem uitbrengen verplicht was, is de kiezersvoorkeur nu aanzienlijk minder stabiel en kunnen zeer recente ontwikkelingen een rol spelen in het stemhokje.
Gelukkig is er één zekerheid: op 15 maart weten we al vroeg in de avond wat de uitslag van de verkiezingen is. Want exit-polls zijn de meest betrouwbare politieke peilingen. Toch is het goed dat de stemmen daarna nog daadwerkelijk geteld worden. Er zijn immers altijd kiezers die aan de toch zo vriendelijk ogende enquêteur niet durven bekennen dat ze op de Tegenpartij gestemd hebben.
Trends in de polls
2e Kamer Gemiddelden in december van elk jaar maart
2012 2012 2013 2014 2015 2016 2017
VVD 41 23 23 24 25 24 25
PvdA 38 27 16 13 12 12 13
PVV 15 20 27 27 31 34 25
SP 15 21 22 17 13 12 13
CDA 13 18 17 21 16 15 17
D66 12 17 21 24 15 15 17
CU 5 6 7 6 6 6 6
GL 4 3 5 7 14 12 17
SGP 3 4 4 4 4 4 4
PvdD 2 3 3 4 4 4 5
50+ 2 8 5 3 9 10 6
VNL - - - - 0 1 0
Denk - - - - 1 1 1
FvD - - - - 0 0 1
Bron: Peilingwijzer, Tom Louwerse, Universiteit Leiden.
De Peilingwijzer combineert de peilingen van I&O Research, Ipsos, Kantar Public, Peil.nl en De Stemming/EenVandaag tot één schatting van de politieke krachtsverhoudingen voor de Tweede Kamer.
________________________________________________________________________________
Wat is een representatieve steekproef?
De theorie achter het trekken van een representatieve steekproef is eenvoudig: stel dat je 70 zwarte en 30 witte knikkers in een schaal hebt en je haalt er geblinddoekt één voor één 20 knikkers uit. Wat mag je dan verwachten? In principe 14 zwarte en 7 witte knikkers.
Op dat gegeven is het trekken van steekproeven gebaseerd.
Als elke Nederlander evenveel kans heeft om te behoren tot de 100, 500 of 1000 of nog meer mensen die voor een enquête ondervraagd worden, dan mag je als onderzoeker verwachten dat de verschillende kenmerken of meningen van de totale Nederlandse bevolking in de goede verhouding in het onderzoek vertegenwoordigd zijn. Maar er is een kans dat je er toch naast zit, omdat bij het trekken van de steekproef het toeval er voor gezorgd kan hebben dat je teveel witte of zwarte Nederlanders hebt getrokken. Hoe groot die afwijkingsmarge is, hangt vooral af van de grootte van de steekproef. Ondervraag je een op toevalsbasis getrokken steekproef van 10.000 personen van 18 jaar en ouder dan zal de uitkomst maar een klein beetje afwijken van de werkelijkheid.
Dat is allemaal wiskundig uitgedokterd en vormt de basis van het enquête-wezen: als zoveel procent van je steekproef een bepaald kenmerk heeft of iets vindt dan is dat geen hard cijfer, er zit een 'afwijkingsmarge' omheen die groter of kleiner is naarmate de steekproef kleiner of groter is.
Het belang van een goede steekproef kan niet genoeg benadrukt worden: beter een goede steekproef van 100 personen dan een slechte van 1000. Weliswaar is in het laatste geval de afwijkingsmarge kleiner, maar een 'scheve' steekproef kan nooit goede resultaten geven en de afwijkingsmarge van een foute uitslag is eigenlijk niet van belang.
Het is steeds moeilijker geworden een goede steekproef te trekken. Zowel het thuis bezoeken van respondenten als het telefonisch benaderen is in de loop van de jaren praktisch onmogelijk geworden: teveel weigeringen. In arren moede koos men voor de enige bruikbare oplossing: het vormen van een internetpanel van personen die zichzelf aangemeld hebben voor het invullen van enquêtes. Via herwegingen probeert men die groep dan representatief te maken.
Een slechtere basis voor onderzoek is eigenlijk niet denkbaar. Maar voor het signaleren van trends in de tijd zijn deze onderzoeken gelukkig wel bruikbaar.
(Dit artikel verscheen eerder in de krant Argus, 2017-1)