6 september 2007
Wikipedia haalt de laatste weken het nieuws. De vorige keer met de Scanner, die achterhaalt wie wijzigingen aanbrengt in de encyclopedische bijdrage (wat tot aardige verrassingen leidt). Nu met een andere tool die gericht is op het waarborgen van de betrouwbaarheid van de bijdragen in de online encyclopedie. Het is een uiterst populaire site, ondanks het feit dat het publieke vertrouwen in de vrijwilligersoperatie twijfelachtig is. Dit ondanks het feit dat vorig jaar al werd vastgesteld dat het met de betrouwbaarheid van veel lemma's niets mis was in vergelijking met bijvoorbeeld de Encyclopedia Britannica. Nu is er een nieuwe programma ontwikkeld aan de University of California, Santa Cruz (UCSC), dat helpt om betrouwbaarheid te meten door middel van een kleurencodering gericht op de veranderingen aangebracht door individuele bewerkers. De codering is gebaseerd op het verleden van de redacteur. Het programma analyseert de hele redactiegeschiedenis van Wikipedia – bijna twee miljoen pagina's en rond de 40 miljoen veranderingen in alleen al de Engelstalige versie. Hierdoor wordt de betrouwbaarheid van iedere pagina 'gemeten'. Bij dubieuze content wordt dan een markering in oranje gebruikt, waarbij de mate van onbetrouwbaarheid via de kleurschakeringen wordt aangegeven.
Een demonstratieversie, bestaande uit 1000 pagina's is beschikbaar via de website van de ontwikkelaar van het programma, Luca de Alfaro, een associate professor in 'computer engineering' aan UCSC. Andere sites gebruiken al 'user ratings' als een meetwijze voor betrouwbaarheid, maar zij zijn afhankelijk van feedback van gebruikers over elkaars bijdragen. Die methode maakt de waarderingen nogal kwetsbaar voor onderlinge wrijvingen en subjectiviteit. Dit nieuwe programma kiest een totaal andere benadering, door de duurzaamheid van de content van ieder pagina als uitgangspunt te nemen en op die manier te bezien welke informatie nuttig is en welke redacteuren het meest betrouwbaar zijn. 'The idea is very simple', zegt De Alfaro. 'If your contribution lasts, you gain reputation. If your contribution is reverted [to the previous version], your reputation falls'. De Alfaro heeft over zijn nieuwe programma onlangs op de Wikimania Conferentie in Taipei, Taiwan, gesproken, en het programma werd daar met enthousiasme onthaald. De Alfaro: 'The program works from a user's history of edits to calculate his or her reputation score. The trustworthiness of newly inserted text is computed as a function of the reputation of its author. As subsequent contributors vet the text, their own reputations contribute to the text's trustworthiness score. So an entry created by an unknown author can quickly gain (or lose) trust after a few known users have reviewed the pages'. Een voordeel van het meenemen van de reputatie van de auteur is dat De Alfaro op die manier kan testen hoe goed zijn betrouwbaarheidsscore's werken. Hij doet dat 'by comparing users' reliability scores with how long their subsequent edits last on the site'. En, zo vervolgt hij, 'So far, the program flags as suspect more than 80 percent of edits that turn out to be poor. It's not overly accusatory, either: 60 to 70 percent of the edits it flags do end up being quickly corrected by the Wikipedia community'. De uitgebreide analyse van Wikipedia's redactiegeschiedenis kost De Alfaro's desktop computer een dikke week. Op dit moment werkt hij met kopieën van de site die door Wikipedia periodiek worden verspreid. Dezelfde bestanden als waarmee de eerder genoemde Scanner zijn werk doet. Als de backlog van redacties is verwerkt kost het updaten van betrouwbaarheidsscores betrekkelijk weinig tijd in real time. Hoewel het programma uitgebreid de betrouwbaarheid van de tekst laat zien, houdt De Alfaro de betrouwbaarheidsratings van de individuelke redacteuren voor zich. Het bekend maken van dergelijke reputaties kan 'detract from Wikipedia's collaborative culture, and could demoralize knowledgeable contributors whose scores remain low simply because they post infrequently and on few topics'. En: 'We didn't want to modify the experience of a user going in to Wikipedia. It is very relaxing right now and we didn't want to modify what has worked so well and is so welcoming to the new user'. De demonstratiepagina's kunnen op deze site gevonden worden.
