Quality rater: parliamone ancora, parliamone di più

Come i moderatori di contenuti, anche i quality rater di Google o Bing sono prevalentemente delle figure professionali invisibili e poco considerate nel dibattito odierno sulle piattaforme digitali: eppure, il loro ruolo è fondamentale nell’operatività quotidiana di qualsiasi motore di ricerca, come dimostrano le poche testimonianze esistenti.

“Noi usiamo i quality rater come un ristorante usa i feedback che riceve dai clienti. Questo feedback ci aiuta a sapere se le nostre ‘ricette’ per la ricerca funzionano“: così, in un tweet di poco tempo fa, l’account ufficiale di Google riassumeva in poche parole il rapporto di lavoro esistente tra il più conosciuto e utilizzato motore di ricerca e i suoi oltre 10.000 quality rater sparsi in tutto il mondo. Figure tuttora ignote alla maggioranza degli utilizzatori di Google eppure operative almeno fin dal 2005, assunte con contratti precari e per lo più attraverso agenzie di lavoro esterne, i quality rater fanno parte di quella categoria di lavoratori “invisibili” dei servizi digitali che svolgono tuttavia un compito di importanza fondamentale per il funzionamento di un moderno motore di ricerca. Sono i quality rater, infatti, attraverso un complesso e mai del tutto indagato sistema di valutazioni incrociate a valutare sia il modo in cui l’algoritmo di Google (o di un altro motore di ricerca similare) risponde a determinate ricerche degli utenti, sia la qualità stessa dei risultati proposti da quest’ultimo, siano essi articoli, video, pagine web dei più disparati argomenti, dalla biografia del calciatore di successo a informazioni di natura medica o scientifica. Tutto questo senza, tuttavia, avere alcun tipo di formazione o competenza specialistica in merito ai contenuti da esaminare: non a caso, infatti, Google si riferisce ai quality rater come a “clienti” speciali, piuttosto che professionisti specializzati.

La scarsità di testimonianze dei quality rater italiani in oltre quindici anni di analisi dei risultati di ricerca di Google

La frustrazione per chi cerca, come me, di andare oltre le spiegazioni fornite da Google sul ruolo e le conseguenze dell’attività di valutazione dei quality rater non sembra destinata a esaurirsi a breve, soprattutto quando si vorrebbe avere una visione d’insieme sull’impatto di più di quindici anni di lavoro di questi operatori sul panorama dell’informazione online in lingua italiana. Le testimonianze rilasciate dai miei connazionali sono scarse, datate, scarne e per lo più anonime: alcune come quelle del blog di Alberto Puliafito e del blog Fogliata risalgono addirittura al 2006, e contengono per lo più una serie di informazioni relative al difficile rapporto tra quality rater e datori di lavoro, dai “contratti rinnovabili al massimo per un anno” agli “stipendi che arrivano a fantasia”, dal rischio di essere “licenziati nel giro di 24 ore senza nessuna motivazione valida” alla “importanza della clausola di riservatezza” richiesta dal motore di ricerca per cui si svolge l’attività di valutazione. Testimonianze più recenti, come quella del blog Italians e risalente al 2013, dimostrano ulteriori criticità nel rapporto di lavoro tra quality rater italiani e le agenzie di intermediazione che selezionano e coordinano gli operatori ingaggiati come freelance per conto di Google.

“Ho lavorato come hostess di volo e ho vissuto all’estero. Forse per questo sono stata chiamata”

Una testimonianza di una quality rater italiana “anonima” pubblicata nel 2012 – andata perduta per alcuni anni e ripubblicata solo di recente sul blog Trovalost – consente tuttavia di farsi un’idea più approfondita delle modalità di selezione degli operatori e della mancanza di stringenti requisiti professionali. Secondo quanto si legge nell’intervista, è possibile diventare quality rater dopo aver sostenuto “due prove di esame, una teorica e una pratica” ma “senza colloquio” individuale con il datore di lavoro, dimostrando una non meglio precisata “ottima conoscenza delle dinamiche politiche, culturali, eccetera” del Paese per cui ci si candida al ruolo di quality rater. “Se una query appartiene ad un campo troppo specifico, che non è di nostra competenza, ci viene espressamente richiesto di “rilasciarla”, di non valutarla” aggiunge l’intervistata, lasciando intendere che siano i quality rater stessi, in definitiva, a decidere i contenuti su cui esprimere la propria valutazione, a prescindere da qualsiasi forma di conoscenza specialistica della materia oggetto di esame. “Io ho lavorato come hostess di volo e ho vissuto all’estero – conclude l’intervistata, riflettendo sulla propria esperienza – forse per questo sono stata chiamata immediatamente”. Non sembrano essere quindi previste né particolari competenze in ambito digitali, né competenze specifiche sui contenuti: si diventa quality rater un po’ per caso, un po’ per abilità nei test di selezione iniziali, senza grandi prospettive di crescita futura che vadano oltre qualche mese di operatività da remoto.

I quality rater non sanno descrivere con esattezza gli effetti di lungo termine del loro stesso lavoro

Pur dedicando molte ore alla ricerca di ulteriori testimonianze di quality rater italiani – a seconda delle stime, sarebbero alcune centinaia o alcune migliaia le persone che nel corso degli ultimi quindici anni hanno ricoperto questo ruolo, per lo più lavorando da casa o all’estero – non ho trovato molto di più. Solo alcuni commenti, anonimi, in alcuni forum generici, oppure riferimenti sparsi nella biografia di alcune persone che hanno poi fatto carriera come consulenti in ambito SEO. In uno scambio di battute, sul gruppo “Fatti di SEO”, una persona riconosciuta anche da altri come ex-quality rater mi ha raccontato pubblicamente di aver “lavorato da casa” sotto la “supervisione di un responsabile gerarchicamente superiore che aveva il duplice compito nei nostri confronti: formativo e di correzione degli errori”. Nulla è possibile sapere, dalle testimonianze di questo e di altri quality rater, circa le effettive e concrete conseguenze a lungo termine dei contenuti analizzati: che cosa succede all’ordine gerarchico delle pagine dei risultati dopo alcune settimane o alcuni mesi dalle valutazioni incrociate dei quality rater, o in che modo i dati elaborati vengono utilizzati effettivamente da Google, Bing o altri motori di ricerca per cui prestano servizio al di là di riferimenti generici al perfezionamento continuo degli algoritmi di selezione dei risultati. Non c’è da biasimarli, per questo: pagati poco, per poco tempo, i valutatori si mettono rapidamente alle spalle questa esperienza di precariato a vicolo cieco, seppur per alcune delle più importanti aziende al mondo.

Chi controlla il controllore, e altre domande che non trovano (per il momento) risposta

Se un anno fa, in occasione del penultimo aggiornamento del documento pubblico di linee guida dei quality rater di Google avevo individuato numerose somiglianze tra questi ultimi e i moderatori di contenuti dei social media, in occasione dell’aggiornamento del medesimo documento a ottobre 2021 – ben sintetizzato, tra gli altri, da un articolo di Search Engine Journal a cura di Lily Ray – mi ritrovo a pensare quanto questo sia da sempre incompleto, mutevole, impreciso, al punto da dover variare ogni anno in base a un processo interno aziendale ad oggi non ancora trasparente. L’opinione che mi sono fatto, leggendo le poche testimonianze dei quality rater italiani tuttora disponibili, è che non sia più accettabile che il lavoro di questi ultimi possa continuare a svolgersi come si è svolto finora: non è possibile, a conti fatti, che la valutazione dell’operato degli algoritmi e della qualità dei risultati di migliaia e migliaia di ricerche online possa avvenire utilizzando operatori privi di competenze specifiche in argomenti tanto importanti per la vita delle persone come la salute, l’economia, la politica, pagate poco e sottoposte a un turnover che ne limita a prescindere qualsiasi possibilità di apprendimento. Non è possibile, infine, che un’attività tanto importante per favorire l’accesso alle informazioni presenti in Rete nel nostro Paese e altrove non sia in alcun modo regolamentata da leggi, procedure e controlli indipendenti dal fornitore del servizio.

Le testimonianze dei quality rater, da sole, non saranno mai sufficienti a ricostruire l’intero contesto entro cui operano

A fronte della evidente scarsità di testimonianze spontanee provenienti dall’interno dell’azienda e delle numerose criticità che emergono dai pochi lavoratori che hanno fin qui accettato di rispondere alle domande di questo o quel blogger, mi aspetto che nei prossimi anni sia i mass media sia la politica si interessino sempre più di questa particolare e relativamente recente figura professionale. Tuttavia, se ulteriori testimonianze anonime possono aiutare ad approfondire alcuni aspetti fin qui solo abbozzati, è evidente come il singolo o la singola quality rater manchino del tutto di una visione d’insieme sugli effetti a lungo termine del proprio lavoro. Quanti sono i quality rater italiani? Come vengono selezionati, attualmente? Che competenze specifiche hanno per valutare la qualità di argomenti sensibili per l’individuo e la società nel suo insieme? Quanti sono i contenuti che i quality rater non riescono a valutare, o non valutano in tempo utile? E che cosa succede, esattamente, a una pagina, un sito, un articolo dopo ogni sessione di valutazione? Vorrei leggere più testimonianze, ma vorrei anche che queste non si riducessero al solito “bla, bla, bla” sugli algoritmi che si servono degli esseri umani per migliorare le proprie scelte: l’unica certezza è che Google, per non parlare di Bing, DuckDuckGo e altri motori di ricerca meno indagati, nel 2021 non può fare a meno di diecimila freelance precari per sapere se le sue “ricette” funzionano.