Hvordan journalister skal rapportere om politiske meningsmålinger

En advarende undersøgelsesoversigt

Shutterstock.

Dette indlæg blev oprindeligt offentliggjort her af Journalist's Resource ved Shorenstein Center on Media, Politics and Public Policy ved Harvard University.

Den 25. april 2019 blev tidligere vicepræsident Joe Biden den seneste store politiker til deltage i løbet til Demokratisk Partis præsidentkandidat i 2020. Blandt demokraternes vælgere fører han feltet over den næstmest populære kandidat, Senator Bernie Sanders fra Vermont, med 7 procentpoint - med en prøveudtagningsfejlmargin på 5,4 procentpoint - ifølge en nylig meningsmåling fra Monmouth University.

Men offentlighedens og mediernes opfattelse er blevet brændt af meningsmålinger før - se præsidentvalget 2016 - og der er stadig lang, lang vej igen, før det demokratiske område er afgjort. Donald Trump blev officielt det republikanske partis kandidat til præsidentvalget i juli 2016, men et år før der var stadig 16 andre kandidater lystfiskeri til nomineringen.

Netop fordi der stadig er så mange rådhuse og amtsmesser at komme for de demokratiske kandidater, runder vi nogle nyere akademiske undersøgelser, der kan informere dækningen af ​​politiske meningsmålinger i denne tidlige præsidentkonkurrence. Denne forskning graver i bias i evaluering af politiske meningsmålinger, afstemningsfejl på tværs af tid og rum, forholdet mellem mediedækning og meningsmåling og mere.

Alle de bedste meningsmålinger er enige med mig: Bias in Evaluations of Political Polling

Madson, Gabriel J.; Hillygus, D. Sunshine. Politisk adfærd . februar 2019.

Troværdigheden af ​​en meningsmåling kommer ned til undersøgelsesmetoder, meningsmålerens omdømme og hvor gennemsigtig meningsmåleren er med deres data. Er offentligheden ligeglad med noget af det? Forfatterne gennemførte to undersøgelser med i alt 2.048 deltagere - 600 rekrutteret fra Amazon Mekanisk Turk og 1.448 fra det nationale Kooperativ kongresvalgundersøgelse . De fandt, at deltagerne opfattede meningsmålinger som mere troværdige, når meningsmålingerne stemte overens med deres meninger, og mindre troværdige, når meningsmålingerne var uenige.

'Afstemninger behandles ikke som objektiv information,' skriver forfatterne.

Afviger skævhed og varians i valgafstemninger

Shirani-Mehr, Houshmand; et al. Journal of the American Statistical Association. juli 2018.

Fejlmargener angive nøjagtigheden af ​​afstemningsestimater. Fejlmarginen for en meningsmåling siger noget om, hvor tæt målingens resultater sandsynligvis vil matche virkeligheden. En større stikprøve vil typisk komme med en mindre fejlmargin, mens en mindre stikprøve betyder en større fejlmargin.

Konfidensintervaller og fejlmargener går hånd i hånd. Det sidste Gallup-måling før valget i 2012 viste Mitt Romney med 49% af de populære stemmer og Barack Obama med 48%. Undersøgelsen havde et konfidensinterval på 95 % og en fejlmargin på 2 procentpoint. Så Gallup var 95 % sikker på, at valget ville ende med at Romney vandt 51 % til 46 %, Romney mistede 47 % til 50 % eller et sted i midten. Til sidst, Obama klarede sig bedre end Gallups konfidensinterval med 51% af de populære stemmer, mens Romney fik 47%.

Politiske meningsmålinger rapporterer typisk fejlmargener, der kun er relateret til stikprøvestørrelsen. Af den grund undervurderer de ofte deres usikkerhed, ifølge forfatterne. For eksempel kan der være fejl, fordi meningsmålingerne ikke kender antallet af personer i deres målgruppe, der vil stemme.

Forfatterne analyserede 4.221 meningsmålinger på tværs af 608 præsident-, senatorial- og guvernørvalg på statsniveau fra 1988 til 2014. Meningsmålingerne blev gennemført inden for de sidste tre ugers kampagner.

I gennemsnit finder de en forskel på 3,5 procentpoint mellem afstemningsresultater og valgresultater, 'omkring det dobbelte af den fejl, som de fleste konfidensintervaller antyder,' skriver forfatterne.

'I det mindste tyder disse resultater på, at man skal være forsigtig, når man bruger afstemningsresultater til at vurdere en kandidats rapporterede føring i et konkurrenceløb.'

Valgafstemningsfejl i tid og rum

Jennings, Will; Wlezien, Christopher. Naturen Menneskelig adfærd . marts 2018.

Forfatterne ser på mere end 30.000 nationale meningsmålinger fra 351 valg på tværs af 45 lande fra 1942 til 2017. De finder, at nationale meningsmålinger taget fra 2015 til 2017 fungerede i overensstemmelse med historiske normer. Men meningsmålinger, der spørger om de største politiske partier, havde en tendens til at være mindre nøjagtige end dem, der spørger om mindre partier.

'Disse fejl er mest konsekvensmæssige, når valget er tæt på, da de kan være afgørende for regeringens kontrol,' skriver forfatterne.

Mens en individuel meningsmålingers omdømme betyder noget, når de vurderer resultaterne af meningsmålingerne, finder forfatterne, at præsidentmålinger udført 200 dage efter et præsidentvalg generelt var mindre nøjagtige end dem, der blev foretaget tættere på valgdagen.

Partisan matematisk behandling af politisk meningsmålingsstatistik: Det er forventningerne, der tæller

Niemy, Laura; et al. Erkendelse . maj 2019.

Afstemningsresultater bombarderer offentligheden under præsidentkampagner, og det kan være svært for vælgerne at behandle disse oplysninger. Forfatterne undersøgte 437 deltagere rekrutteret fra MTurk og fandt ud af, at til præsidentvalget i 2012 og 2016 undervurderede de, der havde forpligtet sig til en bestemt kandidat, deres modstandere - selv i lyset af modstridende meningsmålingsoplysninger. De, der faktisk ikke troede, at deres kandidat ville vinde, bukkede ikke under for den samme kognitive dissonans.

Massemedier og valgpræferencer under det amerikanske præsidentkapløb i 2016

Wlezien, Christopher; Soroka, Stuart. Politisk adfærd . juni 2018.

Logrer hunden med halen, eller er det omvendt? Forfatterne sammenligner meningsmålingsdata og næsten 30.000 historier i ni store aviser i hele USA op til præsidentvalget i 2016 for at afklare forholdet mellem mediedækning og vælgerpræferencer. Deres mest robuste konstatering indikerer, at dækningen på disse medier fulgte den offentlige mening. Efterhånden som meningsmålingerne skiftede til fordel for eller væk fra kandidaterne, blev tonen i mediedækningen også positiv eller negativ.

'Resultater taler om vigtigheden af ​​at betragte medier ikke kun som en driver, men også en tilhænger af offentlighedens følelser,' skriver forfatterne.

Se ikke til meningsmålinger for ja-eller-nej-svar

For lige så meget som journalister og offentligheden ønsker, at politiske meningsmålinger indikerer ja-eller-nej-svar, så gør de ikke, de vil ikke, og det har de aldrig gjort. University of Minnesota journalistikprofessor Benjamin Toff udtrykte det sådan i en marts 2018 essay i Politisk kommunikation :

“Afstemninger er mere pointillisme end fotorealisme; deres resultater er beregnet til at blive observeret på afstand. Man bør aldrig forveksle disse impressionistiske fremstillinger af offentlig stemning med den faktiske ting.'

Hvis du er nysgerrig efter, hvad der gik galt med afstemningen under præsidentvalget i 2016, tjek denne postmortem fra American Association for Public Opinion Research. Resultatet? Nationale meningsmålinger var generelt korrekte, men på statsniveau viste meningsmålinger et tættere løb, hvis udfald var mere usikkert.

For mere vejledning om dækning af afstemninger, tjek ud 11 spørgsmål, journalister bør stille om offentlige meningsmålinger og 7 tips relateret til fejlmargin. Plus, politisk engagement under præsidentvalget i 2016 var ikke meget anderledes end tidligere valg. FiveThirtyEight tilbyder også en god oversigt over troværdige meningsmålere . Endelig er dette hvordan pressen svigtede vælgerne ved præsidentvalget i 2016.