Hvordan Huffington Post håndterer mere end 70 millioner kommentarer om året

Huffington Post har akkumuleret mere end 70 millioner kommentarer indtil videre i år, hvilket langt overgår 2011 i alt 54 millioner.

For at tage et enkelt eksempel, dets indlæg (den først udgivet) med den nu berømte video af Mitt Romneys '47 procent'-kommentarer tiltrak en sindsoprivende 171.753 kommentarer .

Alle nyhedssider kæmper med brugerkommentarer på en eller anden måde, men moderering af denne enorme mængde af meddelelser er en unik test af, om onlinesamtaler, som vi kender dem - et dusin mennesker, der laver et par pointer på et blogindlæg eller en artikel - kan skaleres uendeligt større uden at falde sammen til kakofoni.

Brugerkommentarer til Huffington Post-artikler er steget gennem årene til omkring 8 millioner i juli og 9 millioner (ikke afbilledet) i august. (Diagram og data udlånt af The Huffington Post)

Jeg stillede Justin Isaf, direktør for fællesskabet hos The Huffington Post, nogle spørgsmål om, hvordan webstedet skaber værdifulde diskussioner og håndhæver fællesskabsstandarder med op til 25.000 kommentarer i timen.

Poynter: Et af de store spørgsmål er, 'skalerer' fællesskabsopbygning omkring online nyheder? Dvs., når 100.000 mennesker kommenterer på et indlæg, kan du virkelig stadig have en udveksling af ideer og en ægte samtale - eller har du bare 100.000 mennesker, der taler i lydstyrke for stor til, at nogen kan lytte? Skaber det virkelig et fællesskab, der kender hinanden og lærer med hinanden billig retro jordans ?

Justin Isaf: Du kan helt sikkert have et meningsfuldt fællesskab i stor skala. 70 % af vores kommentarer er svar til andre mennesker, selv på artikler med 100.000 kommentarer. Folk er faktisk opmærksomme på hinanden og har interessante diskussioner.

Dette er faktisk et rigtig interessant spørgsmål, og jeg ville elske at nørde ud om det et øjeblik. Der er virkelig to hovedudfordringer til fællesskabet i skala. Den største udfordring er det dårlige æbleproblem, veltalende udtalt i ' Godwins lov ' ('Efterhånden som en onlinediskussion bliver længere, nærmer sandsynligheden for en sammenligning, der involverer nazister eller Hitler, sig 1'). Det andet, som først for alvor bliver et problem, hvis man har løst det første, er opdagelse – hvordan finder man den samtale, man som læser bliver interesseret i, når der er 185.000 kommentarer til en artikel.

Justin Isaf arbejdede før på Change.org slutter sig til The Huffington Post .

Godwins lov handler om den ene fyr, der kommer ind og bare gør tingene mindre behagelige til det punkt, hvor dine gode medlemmer bare forlader. Det er et større problem i skalaen, men er et problem på alle stadier af et samfund.

For os har løsningen været at arbejde virkelig hårdt for at holde samfundet sikkert og underholdende ved at investere betydelig tid og energi i præ-moderering for at holde de dårlige skuespillere ude ... Vores overbevisning koger ned til en meget enkel 'hvis du er bevidst eller konsekvent gør dette til et mindre behageligt sted at være, kan du og dine kommentarer blive fjernet fra det.'

Vores tilgang til det andet problem – at finde den rigtige diskussion til dig – har været både fælles og teknologisk. For det første giver 'fan'-netværket på HuffPost folk mulighed for at se, hvad deres venner taler om, og nemt at engagere sig med nye mennesker, de finder interessante. Vi vil gerne sikre os, at gamle venner nemt kan finde hinanden, men samtidig introducere dem til nye mennesker, så de hele tiden udvider deres fællesskab og netværk.

Den teknologiske løsning til at forbinde de rigtige mennesker involverer MASSER af dataknas, smarte algoritmer og noget elegant design. For eksempel fører vores Pundit-program om Politik-vertikalen – som fremhæver kommentarer og samtaler, der generelt vil være mere interessante for et stort publikum – til nogle af de mest engagerende og dybe samtaler på siden, selv når der er høj lydstyrke.

Ved at fokusere på disse to problemer – at skabe et sikkert, behageligt sted og hjælpe folk med at finde indhold, der er relevant for dem – har det givet os mulighed for at styre væksten og omfanget af et ægte fællesskab. Det har også hjulpet os med at fastholde brugerne forbløffende godt. Over 1.000 af de fællesskabsmedlemmer, der tilmeldte sig i de første 6 måneder af HuffPosts eksistens, kommenterer stadig mere end en gang om ugen i dag.

Det er klart, at den slags indsats også kræver betydelige ressourcer at vedligeholde, ikke? Kan du fortælle mig mere om kommentarmoderationsteamet - antallet af mennesker, når de arbejder, hvad de laver? Og hvilke teknologiske løsninger som filtre og algoritmer hjælper med at automatisere noget af det arbejde?

Under: Nu er vi et større team med hvad der svarer til omkring 30 fuldtids moderatorer. De arbejder 24/7/365 i seks timers skift, hvor de hver især gennemgår hundredvis af kommentarer i timen. De er alle baseret i USA eller i det land, hvor den udgave de arbejder på, så de får lokal kulturel kontekst og samtaler. Det er et meget specifikt færdighedssæt og kræver en vis mentalitet for at gøre det godt. Jeg er konstant i ærefrygt for dette hold.

De er bakket op af nogle af de bedste teknologier i branchen. Det ville tage rigtig lang tid at forklare alle de forskellige teknologier, der indgår i moderationsstrømmen, men kernen er Julia. Hun er en kunstig intelligens-maskine, der hjælper mods ud. Hun er en meget fed teknologi, som vi erhvervede for omkring 2 år siden og har udvidet meget siden da.

Jeg ville elske at høre mere om 'Julia.' Hvilken rolle spiller hun i at moderere kommentarer? Hvor kom den teknologi fra, og er den tilgængelig for andre at adoptere? Laver hun semantisk analyse? 'Lærer' hun med tiden? Hvad inspirerede navnet?

Under: Hun var en del af et opkøb af en virksomhed kaldet Adaptive Semantics der skabte hende og den originale teknologi bag det hele. Det var et team på to personer, Jeff Revesz og Elena Haliczer. Elena er nu HuffPosts VP for produkt, og den løbende udvikling af Julia udføres af nogle meget kloge mennesker med Ph.D'er i ting, jeg aldrig vil forstå.

Julia er en maskinlæringsalgoritme (JuLiA står for 'Just a Linguistic Algorithm'), som vi har lært at forstå flere sprog, og som vi fortsætter med at undervise på løbende (ja, hun lærer over tid). Hun læser alt indsendt til HuffPost og hjælper moderatorerne med at udføre deres arbejde hurtigere og mere præcist. Vi har virkelig gjort meget med maskinassisteret moderering, hvilket giver os mulighed for at forhåndsmoderere 9,5 millioner kommentarer om måneden, og Julia er kernen i det.

Jeg er stor fan af, at maskiner hjælper os med opgaver på lavere niveau, hvilket frigør tid, ressourcer og hjernekraft til mere interessante og komplekse opgaver. Julia tager det et par skridt videre og hjælper os med en masse andre aspekter af HuffPost ud over at hjælpe med at luge ud for voldelige medlemmer, herunder at identificere intelligente samtaler til promovering og indhold, der ikke matcher vores annoncører. Hun har givet os mulighed for at gøre meget mere med meget mindre.

Så i betragtning af de ret avancerede funktioner i 'Julia', hvad er der tilbage for de menneskelige moderatorer at tage sig af? Beskæftiger de sig med de gråzonekommentarer, som computeren ikke var sikker på?

Under: Vores menneskelige team beskæftiger sig med en masse problemer. Disse inkluderer helt klart gråzonekommentarer, som Julia ikke er sikker på, men også beskæftiger sig med moderation på højere niveau og særlig pleje, brugerproblemer, revision og kvalitetspleje osv.

For eksempel:

• Julia har frigivet ressourcer til at flytte ind i vores Community Editor-program – Redaktører, der fokuserer på at skabe indhold og engagere vores publikum med det eksplicitte mål at opbygge et mere tæt fællesskab af mennesker omkring indhold, som de holder af, med ligesindede. Det er meget praktisk, grundlæggende menneskeligt og har skabt fantastiske grupper af individer, som nu har et hjem, hvor de kan dele deres passion med lignende mennesker, som de ellers aldrig ville have mødt.
• Når kontroversielle personer dør eller bliver indlagt, prøver vi meget hårdt på at sikre, at tråde er passende og ikke overtages af folk, der er alt for højrøste om deres modvilje mod personen. Det er den slags omsorg, som maskiner ikke helt får endnu, men det er stadig mennesker med følelser, familie, venner, kære, og vi tager det som en del af vores ansvar at sikre, at samtaler på HuffPost tager højde for det.
• Vi har adskillige historier og sektioner af webstedet, der desværre er kontroversielle og nogle, der er følsomme – vores Stemmer vertikaler, Teenager, artikler om folks udseende osv. I mange tilfælde på disse vertikaler ønsker vi at sikre, at vi har mere menneskelig involvering fordi de berører så mange virkelige liv og påvirker virkelige følelser. Så vi vil sikre os, at mennesker med følelser og liv er involveret. Julia er den følsomme type, men hun 'får det' ikke altid, når det er følelsesladet.

Til sidst, hvordan tænker du om at prøve at få de allerbedste kommentarer til syne ud af de tusindvis, du får? Eller mere generelt, kan du designe et kommentarsystem, der er optimeret til de personer, der læser kommentarerne, ikke til de personer, der forlader kommentarerne?

Under: Der er ofte en afvejning i designvalg - folk, der læser og folk, der snakker, har ofte forskellige behov.

Du kan (og bør) helt sikkert optimere til læsning, især i betragtning af, at det er en stor del af et fællesskab (se ' 1-9-90 reglen ”). Men på samme tid, hvis du optimerer for de mennesker, der ikke taler, risikerer du at reducere mængden af ​​ting, der er at læse.

Vi tager den tilgang, at vi ønsker at bygge en platform, der er utrolig let for vores community-medlemmer at engagere sig i hinanden igennem, men som også gør det meget nemt for førstegangslæsere at finde de bedste engagementspunkter og mest interessante samtaler.

Det er helt sikkert en balancegang, og vi har sporet både kvalitative og kvantitative data gennem årene for at sikre, at vi skaber den mest engagerende og robuste platform og fællesskab, vi kan. Vores tilgang virker måske ikke i alle tilfælde, men for os har den fungeret ret godt.

Tidligere: HuffPost værdsætter samtale og fællesskab mere end indhold | HuffPost bruger badges til at styrke brugerne som moderatorer.