Moderatie van reacties onder nieuwsartikelen – hoe doe je dat transparant?

“Het is superleuk dat publiek terugpraat als je nieuws deelt. Modereren van comments is helaas erg duur, waardoor veel nieuwsmedia daarmee gestopt zijn of er niet aan beginnen. Dat is jammer, want het kan ook een rijkere media-ervaring opleveren. Denk bijvoorbeeld aan technologiewebsite Tweakers.net, waar de comments soms interessanter zijn de artikelen. Het zou daarom mooi zijn als nieuwsmedia meer met comments doen,” aldus Hamel. 

Journalisten hebben een haat-liefdeverhouding met comments omdat er ook veel ongewenste reacties binnenkomen, zegt Hamel. “Je moet als nieuwsplatform de commentsectie altijd controleren om eventuele foute of ongepaste reacties eruit te filteren. Dit wordt ook verwacht. Er is als het ware een ongeschreven contract tussen platform en gebruiker, waarbij de gebruiker verwacht dat het platform politieagentje speelt.” 

Steeds meer nieuwsmedia zetten machine learning in om te voorkomen dat haatdragende of aanstootgevende comments op de site verschijnen. NU.nl werkt bijvoorbeeld al op deze manier. Hamel: “Dat roept allerlei ethische vragen op, bijvoorbeeld over transparantie. Uitlegbaarheid en transparantie met betrekking tot automatische besluitingvorming zijn een groot goed. We willen geen zogeheten ‘black boxes’, machines waarvan je niet weet hoe ze tot een beslissing zijn gekomen. Tegelijkertijd zien we dat de beter presenterende algoritmes vaak zo complex zijn, dat ze bijna niet uit te leggen zijn. In het kader van uitlegbaarheid zou je dus kunnen beargumenteren dat dat soort algoritmes niet ingezet moeten worden.

“Gebruikers kunnen ook misbruik maken van complete transparantie, vertelt Hamel. “Als trollen weten welke formuleringen verboden zijn, dan gaan ze allerlei maniertjes vinden om de automatische moderatie te omzeilen. Bij internetforum Reddit houden ze het daarom bewust onduidelijk hoe hun AutoModerator werkt. Het is dus enorm zoeken hoe je als media transparant kunt zijn, zonder jezelf in de vingers te snijden.”

Hoewel algoritmische moderatie zeer aantrekkelijk is vanuit economisch oogpunt, moeten nieuwsmedia wel weten hoe ze de onnauwkeurigheid en bias van AI kunnen verminderen (fairness), hoe ze de werking van hun algoritmen bekend kunnen maken (accountability) en hoe de gebruikers kunnen laten begrijpen hoe algoritmische beslissingen worden genomen (transparancy). Het is de taak van nieuwsmedia om die waarden te verankeren in de inzet van algoritmes. “Hoe zet je AI zo goed mogelijk in? Want met AI kan je ook te veel modereren, zoals het wegfilteren van grapjes of sarcasme. En hoe filter je onwaarheden? Wie bepaalt dat? Het gaat daarbij dus echt over ethiek en AI.”

“Een mens kan altijd beter modereren dan een computer, maar is veel duurder. Voor mij zit het goud in de samenwerking tussen mens en machine. Bijvoorbeeld via een notificatiesysteem voor moderators wat nu ook al bij NU.nl gebeurt. Daar wordt zo’n 80% van de comments automatisch goedgekeurd door een machine. De overige 20% komt op een lijst waar een mens naar kijkt. Daarnaast traint het moderatorteam door de menselijke beoordeling de machine bij zodat deze in haar automatische moderatie niet uit de bocht vliegt, omdat bijvoorbeeld taal ook evolueert.”

Het promotieonderzoek richt zich op de rechtvaardigheid, accountability en transparantie van algoritmische systemen voor het modereren van lezersreacties. Doel is om nieuwsorganisaties te ondersteunen bij waardegedreven implementatie van AI. “Zeker nu steeds meer nieuwsmedia het tijdperk van AI betreden, is de inbedding van rechtvaardigheid, accountability en transparantie in hun gebruik van algoritmen cruciaal”, aldus Hamel.

Bekijk het promotieonderzoek: Project Fairness, accountability, and transparency in algorithmic comment moderation.