Er PolitiFact partisk? Denne indholdsanalyse siger nej

Det er en kritik det PolitiFakt har længe været vant til at høre.

'PolitiFact engagerer sig i en stor del af udvælgelsesbias,' The Weekly Standard skrev i 2011 . ''Faktatjekkere' er i overvældende grad rettet mod højreorienterede polere og punditer' lyder det en overskrift fra april 2017 fra NewsBusters, et websted, hvis mål er at afsløre og bekæmpe 'liberal mediebias'. Der er endda en hel blog dedikeret til at vise de måder, hvorpå PolitiFact er forudindtaget.

Faktatjekprojektet, som Poynter ejer, har afvist disse beskyldninger og peger på dets gennemsigtige metode og finansiering (samt dets medlemskab af International Fact-Checking Network) som bevis på, at det ikke har en politisk overbevisning. Og nu har PolitiFact en akademisk undersøgelse til at bakke op om det.

Rapporten, udgivet af forskere ved University of Washington og Carnegie Mellon University i marts, analyserer sprog, som PolitiFact har offentliggjort om demokrater og republikanere, for at se, hvordan organisationen har indrammet talere fra begge partier. Det inkluderer også en ekstern analyse, der sammenligner, hvordan PolitiFact rammer emner, med hvordan medierne generelt gør.

Rapporten, som PolitiFact først sendte til Poynter, brugte automatiseret tekstanalyse på cirka 10.000 artikler, der går tilbage til 2007, hvoraf størstedelen er mellem 2010 og 2017. Fordelt på parti er der omkring 1,4 gange så mange artikler om republikanere som demokrater. Tidligere præsident Barack Obama var den mest dækkede taler i stikprøven med omkring 600 artikler.

Regner man med PolitiFacts seks-punkts skala, som spænder fra 'True' til 'Pants on Fire!', er der en ret jævn fordeling af vurderinger. Opdelt efter parti tildeler faktatjekprojektet typisk mere sande vurderinger til demokrater og flere falske vurderinger til republikanere, når det justeres for forskellen i antallet af publicerede artikler om hver gruppe.

(Skærmbillede)

For specifikke politikere er den mest brugte vurdering for Obama 'for det meste sand', mens Donald Trumps er 'falsk', ifølge rapporten. Men når den brydes yderligere op af de øverste emne-tags på hver artikel, ser PolitiFacts dækning ud til at være relativt afbalanceret.

(Skærmbillede)

PolitiFacts top tre mest dækkede emner er økonomi, sundhedspleje og skatter - som alle er nogenlunde ligeligt fordelt mellem republikanske og demokratiske talere. Og afvigelserne, såsom immigration og våben, kunne ifølge rapporten have mere at gøre med, hvor meget hvert parti taler om disse spørgsmål, end hvordan PolitiFact formulerer dem.

'Inden-subjekt-splitningen ligner den overordnede opdeling mellem partier,' lyder det. 'Som sådan forventer vi ikke, at eventuelle sprogforskelle, vi finder mellem de to parter, vil være stærkt baseret på indholdet af artiklerne.'

Så forskerne opdelte derefter hver artikel yderligere, efter hvilke ord der var mest sandsynligt, at korrekt forudsige en historie om en republikaner eller demokrat. For at gøre det brugte de statistiske teknikker og naturlige sprogbehandlingsmodeller og fjernede alle citater eller anden tekst, som forfatteren ikke skrev.

I betragtning af rapportens tidligere analyser var det, de fandt, ret ikke overraskende - artikler om republikanere blev forbundet med ord som 'republikaner' og 'falsk', mens artikler om demokrater blev forbundet med 'demokrat' og 'sand.'

(Skærmbillede)

Da forskerne fjernede ord, der åbenlyst var forbundet med begge parter, fandt de ud af, at historier med demokratiske talere almindeligvis blev forudsagt af ord som 'hjulpet' og 'tænk', mens historier om republikanere blev forudsagt af 'Fox' og 'ifølge.'

(Skærmbillede)

Så hvad siger det om PolitiFacts påståede bias? Ikke meget, ifølge forskerne.

'Denne del af vores analyse finder ingen åbenlyse forskelle i det sprog, der bruges til at beskrive individer fra hver part på en måde, der viser nogen indikation af partiskhed eller forskellig behandling,' skrev de.

I deres eksterne analyse nåede forskerne ikke frem til andre konklusioner. De kørte en følelsesklassificering baseret på foruddefinerede lister over positive og negative udtryk og fandt ud af, at PolitiFact bruger både mere negative og positive ord for republikanere, artikler om, som havde en tendens til at være længere i gennemsnit.

(Skærmbillede)

'Fra denne simple analyse konkluderer vi, at hvis der er en forskel i følelsen formidlet mellem PolitiFact-analyse af demokrater vs. republikanere, så udtrykkes det subtilt og eller på domænespecifikke måder,' lyder det i rapporten.

Der er nogle begrænsninger. På grund af ubalancen i artikler om republikanere og demokrater kunne tekstklassificeringen kun forudsige et parti med 58 procents nøjagtighed ud fra et sæt ord. Forskere foretog heller ikke en mere dybdegående sentimentanalyse af PolitiFacts indhold, dels på grund af de høje omkostninger og dels på grund af potentialet for menneskelige annotatorer til at reagere subjektivt på faktatjekvurderinger.

Men PolitiFact har det godt med, hvad rapporten siger.

'Det forstærker bestemt, hvordan vi prøver at handle og bære os selv. Så selvfølgelig er vi glade for at se ingen røde flag,” sagde administrerende direktør Aaron Sharockman i en besked. 'Men som en faktatjekker, der har gransket masser af forskning, bør vi heller ikke give denne undersøgelse mere vægt, end den er værd. Dette er et blik på det sprog og de ord, vi bruger til at skrive vores faktatjek.'

'Vi kan ikke stoppe med at tænke på måder, hvorpå vi kan forbedre vores troværdighed for alle målgrupper.'

Rapporten er en del af et tilskud på 50.000 USD som Knight Foundation tildelte PolitiFact i juni sidste år for at forbedre tilliden til faktatjek og nå ud til skeptiske publikummer. Sidste efterår rejste medlemmer af faktatjekorganisationen til tre stater domineret af konservative vælgere og holdt fora, en-til-en møder og samfundsbegivenheder for at nå ud og besvare spørgsmål. PolitiFact hyrede også to tidligere politikere (en fra hvert parti) til at kritisere dets arbejde.

Disse bestræbelser var til dels inspireret af en Rasmussen Reporters undersøgelse fra september, som fandt ud af, at 88 procent af Trump-tilhængerne ikke stoler på mediernes faktatjek. Og PolitiFacts sproganalyse virker som en god afvisning af disse resultater.

'Vores analyser var ikke i stand til at påvise nogen systematiske forskelle i behandlingen af ​​demokrater og republikanere i artikler af PolitiFact,' lyder undersøgelsens konklusion.

Men i en opfølgende e-mail til Poynter tilføjede Noah Smith, en af ​​rapportens medforfattere, en advarsel til resultaterne.

'Det kan skyldes, at der virkelig ikke er noget at finde, eller fordi vores værktøjer ikke er kraftfulde nok til at finde, hvad der er der,' sagde han.