Kompensation For Stjernetegn
Subsity C Berømtheder

Find Ud Af Kompatibilitet Ved Hjælp Af Stjernetegn

Analyse: Twitters crowdsourcede faktatjek-eksperiment afslører problemer

Analyse

En Poynter-analyse viste, at mindre end halvdelen af ​​Birdwatch-brugere inkluderer kilder, og mange faktatjeknoter indeholder partisk retorik.

En 14. februar-version af Twitters Birdwatch-algoritme forstærkede nogle noter med vildledende information.

Den 5. februar flagede Twitter et opslag fra den kontroversielle YouTuber Tim Pool der sagde, at det amerikanske præsidentvalg i 2020 var manipuleret. Platformen bemærkede, at kravet blev bestridt og deaktiverede engagement 'på grund af en risiko for vold.'

Men på Fugleur , den sociale medieplatforms eksperiment i crowdsourcet faktatjek , sagde brugere overvældende, at tweetet ikke var vildledende, ifølge en 14. februar-analyse af Twitter-data. Og de fleste Birdwatch-brugere angav i værktøjet, at de fandt disse noter, der understøttede afkræftede påstande, nyttige og informative.

'Ifølge den officierende (sic) kilde til TIME var der en velorganiseret gruppe af hemmelige deltagere i en skyggeorganisation, der lyder som en kabal, der arbejdede sammen for at påvirke valget til fordel for Joe Biden,' lyder en note. Mens brugeren inkluderer et link til en artikel i Time Magazine der faktisk bruger ord som 'kabal' og 'sammensværgelse', er konteksten for stykket - at magtfulde grupper arbejdede bag kulisserne for at beskytte valgintegriteten - tabt.

Det Fugleur algoritme , som har til formål at vise nyttige noter, tildelte, at 'faktatjek' en hjælpsomhedsscore på 0,68 - den højeste af noterne på tweetet, lige uden for de øverste 10% af noter, der anses af algoritmen 'vurderet som nyttige' pr. 14. februar. Nyttige noter udgjorde omkring 7 % af de 2.695 i denne analyse, og færre end to tredjedele af dem indeholder et kildelink, der ikke er et andet tweet.

Den 17. februar Twitter ændret sin algoritme og noter på Pool-tweet er ikke længere vurderet som nyttige, selvom de er stadig anført under indlægget . Før denne ændring var der en lavere tærskel for at blive betragtet som nyttig - kun 0,5 sammenlignet med den nye 0,84 cutoff - og noter behøvede kun tre vurderinger for at være med for at blive betragtet som nyttige, prioriteret i rækkefølge og markeret med en blå seddel.

Nu skal en note have fem vurderinger for at skubbe det tweet ind i ny 'vurderet hjælpsom' fane i Birdwatch . Og af de næsten 2.700 sedler i platformens database opfyldte 126 den nye tærskel - det er mindre end 5%. Tre fjerdedele af nye 'vurderet nyttige' noter indeholdt en kilde uden for Twitter.

Det er en rettidig illustration af et af de problemer, som Birdwatch-modellen står over for: Kan en algoritme, der er fodret af en tilsyneladende tilfældig gruppe mennesker, nogensinde nøjagtigt 'vurdere' sandheden?

Birdwatch, i sin pilotfase med lidt mere end 1.000 brugere, giver deltagerne mulighed for at markere tweets som vildledende og tilføje en note, der citerer en kilde og/eller forklarer konteksten af, hvorfor den kan være vildledende. Derefter kan Birdwatch-brugere rangere disse noter baseret på hjælpsomhed (herefter tager algoritmen over).

Til sidst vil alle Twitter-brugere tilsyneladende være i stand til at se disse noter lige under tweets, men indtil videre er de begrænset til en bestemt del af webstedet . Fugleursbrugere vil også i sidste ende opbygge en omdømmescore, der vil indgå i hjælpsomhedsalgoritmen.

'Vores mål med Birdwatch-piloten er at bygge et system, hvor alle kan bidrage, og som naturligvis løfter information, som folk finder nyttig,' sagde Twitters vicepræsident for produkt Keith Coleman i en e-mail. 'Vi mener, at åbenhed i, hvem der kan bidrage, er vigtig, og at gennem input fra en mangfoldig gruppe kan de mest nyttige noter løftes.'

Men et kig på systemet, som det er nu, afslører udfordringer, som faktatjekkere har rejst om Birdwatch: mangel på faktatjekekspertise blandt brugerne, vanskeligheden ved at skabe en algoritme, der på en eller anden måde vil vise de mest velrenommerede brugeres nyttige noter og spørgsmål om partipolitiske motiver hos brugere.

'Jeg er ikke overrasket over disse resultater i betragtning af den polariserede karakter af sociale medieplatforme og almindelige brugeres tøven med at give feedback til sådanne forespørgsler fra platforme, hvorimod motiverede brugere fra begge sider af gangen ser platforme som kamppladser til at promovere deres fortællinger over andre,” sagde Baybars Örsek, direktør for International Fact-Checking Network.

Et flertal af de mest produktive Birdwatch-brugeres noter markerer tweets, der er kritiske over for højrefløjen, som 'vildledende' og dem, der er kritiske over for venstrefløjen, som 'ikke vildledende.' (For eksempel markerede brugeren et tweet, der siger ' Team Biden er blød over for Kina ' fra senator Ted Cruz and the Pool tweet som 'ikke vildledende'; mens en Newsweek-artikel om højreekstremister og GameStop-sagaen og et tweet at binde præsident Donald Trump til Capitol-optøjet blev markeret som 'vildledende' og 'skadeligt.') Og mindre end en femtedel af brugerens 82 noter indeholder en kilde, hvoraf flere er andre tweets. (Denne Birdwatch-bruger svarede ikke på en anmodning om et interview.)

Coleman sagde, at Birdwatch kan tilskyndes til at overveje noter, der kommer fra et 'forskelligt sæt bidragydere.' Derudover er ratingsystemet den vigtigste drivkraft bag platformen

'Vi tror, ​​at disse vil belønne og motivere bidrag, som mange mennesker finder værdifulde, og adressere risikoen for, at en bestemt gruppe eller ideologi overtager Birdwatch,' sagde Coleman. 'Dette er noget, vi vil arbejde aktivt på under hele pilotprojektet.'

Og faktisk, de noter, som algoritmen rangerede som den mest nyttige efter ændringerne den 17. februar, viser mere solid sourcing og mindre partisk retorik end gentagelsen fra blot en dag tidligere. Men at ændre en algoritme for et pilotprogram med 1.000 brugere og færre end 2.700 sedler er én ting, at ændre en algoritme, når Birdwatch er tilgængelig for alle brugere, er en anden - og hvem ved, om effektiviteten af ​​algoritmen holder stand, når brugerne begynder at hælde ind på platformen, måske en gentagelse af adfærden hos nogle af de mest produktive pilotdeltagere.

'Vi har i øjeblikket ikke en specifik tidslinje for skalering, da vi arbejder på at lære så meget som muligt og gentage, mens piloten er lille,' sagde Coleman. 'Vi planlægger at skalere op, da vi er i stand til at gøre det sikkert, og når det kan hjælpe med at forbedre læringen.'

Alligevel, som med noterne under Pool-tweet, er der eksempler på partisan eller vildledende oplysninger stadig synlige som almindelige noter.

Fire af de fem mest aktive brugere, som tegner sig for mere end 10 % af de samlede noter, har lignende aktivitet som den mest produktive bruger. En af dem hævder, at Jeffrey Epsteins død aldrig blev dømt som et selvmord. Den næstmest produktive Fuglekigger citerer dog en kilde i hver note, inklusive links fra Verdenssundhedsorganisationen og FactCheck.org .

Ingen af ​​de 10 bedste brugere, ifølge deres Twitter-bios, er professionelle faktatjekkere eller journalister.

'Faktatjek er faktisk hårdt arbejde, fordi det er mentalt krævende,' sagde PolitiFact-chefredaktør Angie Holan i en e-mail. 'Du er virkelig nødt til at koncentrere dig og presse igennem mental inerti for at identificere påstande og derefter brainstorme midler til at afvise eller verificere dem. Så skal du følge op med at søge og derefter skrive resultaterne op. Det er ikke en dag på stranden, for at sige det ligeud. Og hvis en faktatjekker har en partisk motivation, gør det en grundig og ligetil indsats endnu sværere.”

På trods af sine problemer markerer Birdwatch misinformation, som traditionelle faktatjekkere kan gå glip af eller vælger ikke at tjekke på grund af potentiale for skade - hvilket kan hjælpe med at udfylde nogle huller i digital misinformation. Under game stop saga , spredes misinformation om virksomhedens aktie hurtigt på tværs af platforme.

Snopes og PolitiFakt vurderede ikke krav vedrørende GameStop, mens Lead Stories bedømt et Reddit-indlæg. Men på Birdwatch markerede den højest vurderede note - med en hjælpsomhedsscore på 1,00 - et vildledende tweet om Reddit, hvor samtalen om aktien fandt sted. Der var omkring 50 noter om Reddit, GameStop og Robinhood-investeringsappen, hvor der skete en stor mængde handel tidligere på måneden.

Og Birdwatch-brugere har korrekt markeret en konto, der hævder at tilhøre Virginia Sen. Amanda Chase, som falsk, efter den tweeted , '... Vi har et stofproblem i Virginia, og legalisering af marihuana vil kun føre til flere marihuana-overdoser og dødsfald ...'

Crowdsourcing kan gøre professionelle faktatjekkeres liv lettere ved at opdage misinformation, sagde Örsek.

Coleman sagde, at Twitter er forpligtet til at opretholde gennemsigtighed - hvilket gjorde denne analyse mulig - og indarbejde input fra eksperter om platformens fremtid.

“Fra at arbejde med et indlejret teammedlem fra University of Chicago Center for RISC , for at være vært for feedback-sessioner med journalister og forskere, arbejder vi på at udnytte den enorme mængde ekspertise og viden, der findes ud over Twitter,” sagde han.

Holan og Örsek anbefaler incitamenter og træning for Birdwatch-brugere, samt at ansætte professionelle faktatjekkere til at behandle højtstående noter.

'Men jeg er ret tvivlende over for teknologivirksomheder, der tror, ​​at deres brugere vil moderere indhold gratis for dem,' sagde Holan. 'De fleste brugere ser det ikke som deres job at hjælpe platformene med at drive deres egne virksomheder.'