Lettura fondamentale per tutti coloro che si occupano di SEO, le linee guida dei quality rater di Google sono un documento di 168 pagine essenziale per comprendere le logiche dei motori di ricerca odierni.

Chi sono i quality rater di Google e cosa fanno

Il documento di linee guida dei quality rater di Google è una serie di indicazioni rese pubbliche solo dal 2015, e aggiornate periodicamente, rivolte a quei lavoratori – spesso studenti, part-time o assunti con contratti temporanei – che sono incaricati di revisionare la qualità dei contenuti e la pertinenza di questi ultimi con le ricerche compiute dagli utenti sul più importante motore di ricerca al mondo.

L’ultima versione che ho avuto modo di leggere integralmente, pubblicata nel dicembre 2019, è disponibile in lingua inglese e solo in versione pdf: una scelta che non favorisce di certo la lettura di oltre 168 pagine fitte di esempi e indicazioni pratiche su come valutare i contenuti nelle pagine dei risultati di ricerca (SERP).

Il compito principale di un Quality Rater consiste nell’assegnare un punteggio di qualità alla pertinenza tra un determinato contenuto e una determinata query di ricerca (“Needs Meet”) e alla qualità del contenuto stesso, sia esso una pagina, un articolo, un video, un podcast o un box di risultati (“Page Quality“), scomponendo ciascuno di questi ultimi in tre sezioni fondamentali: Main content, Secondary content e Advertising.

Nel solo 2019 i quality rater di Google, secondo quanto si apprende sulla pagina ufficiale dell’azienda, avrebbero preso parte a oltre 464 mila test qualitativi sia dal vivo sia su esempi d’archivio: un risultato reso possibile dal coinvolgimento di oltre diecimila lavoratori in tutto il mondo, la cui attività di valutazione genera dati strutturati che vengono utilizzati per addestrare l’algoritmo del motore di ricerca.

Secondo il Search Engine Journal, la valutazione del singolo quality rater non ha effetti diretti sul posizionamento di un determinato sito web o articolo online. Tuttavia, l’insieme delle valutazioni dei quality rater su siti web, articoli e altri contenuti online tra loro simili a un effetto diretto sulla visibilità di questi ultimi nel prossimo futuro. Tanto più un sito web o un articolo è simile ad altri siti web giudicati di scarsa qualità, quindi, tanto più la visibilità di questi ultimi dovrebbe ridursi nel corso del tempo.

I quality rater, infatti, arrivano dove gli algoritmi non sono in grado di arrivare: vale a dire nella valutazione della “Expertise, Authoritativeness, Trustworthiness” (“E-A-T”) dei siti web, blog, video, articoli, podcast o box informativi, con particolare attenzione alle risorse informative che riguardano ”la felicità, la salute, la stabilità finanziaria e la sicurezza” degli utenti (contenuti anche detti YMYL: “Your Money, Your Life”).

Riassumendo:

• Le linee guida dei quality rater sono state pubbliche solo da pochi anni
• I quality rater sono migliaia, assunti con contratti temporanei, e operano in tutto il mondo
• Il QR valuta la qualità dei contenuti (Page Quality) e la pertinenza dei risultati (Needs Meet)
• Non penalizzano un singolo contenuto ma l’insieme dei contenuti a esso simili
• Essi valutano ciò che gli algoritmi non sono in grado di valutare: l’E-A-T di una risorsa

Per chi vuole approfondire il tema dal punto di vista SEO,
consiglio la playlist di Giorgio Tave dedicata ai Quality Rater

Le linee guida dei quality rater

Il documento di linee guida di quality rater pubblicato da Google non è fatto per essere letto con facilità. La richiesta di maggiore trasparenza che ha portato alla sua pubblicazione è stata esaudita solo in parte. Ancora oggi esso presenta non poche criticità, tra cui il fatto che molte delle informazioni più importanti sono presenti solo nelle ultime pagine del documento, mentre manca una vera e propria sintesi finale.

Solo a pagina 135, infatti, viene descritto come la valutazione del “Needs Meet” (la pertinenza) di una risorsa non possa andare disgiunta dalla valutazione del “Page Quality” (la qualità) della stessa. I quality rater non si fermano alla superficie delle pagine di risultati: devono entrare dentro i siti, guardare i video, controllare che le informazioni riportate nei box informativi siano sempre corrette e aggiornate.

È un documento che sembra appartenere a un’altra azienda (non dubito infatti che Google potrebbe renderlo ben più semplice da consultare di un pdf) e a un’altra epoca, dove l’indicazione data ai quality rater per stimare la qualità, l’autorevolezza e la credibilità di una determinata risorsa è quella di “cercare su Google” se altri siti web di giornali, di premi, di blog, di recensioni confermano la bontà di quest’ultima.

Non sembra essere prevista una formazione specifica dei Quality rater su un determinato argomento; la cultura scolastica, la sensibilità individuale e il senso di responsabilità personale vengono chiamate più e più volte in causa come metro di misura fondamentale per la valutazione di contenuti tra loro diversissimi. Infine, cosa da non sottovalutare, non sono previste neppure particolari competenze informatiche.

A pagina 7, infatti, il documento spiega ai quality rater come cercare la homepage quando si trovano in una pagina interna dei siti web da esaminare, come fare attenzione ai virus nei siti sospetti, come evitare di fermarsi alle prime impressioni nel valutare la qualità di una risorsa online. Eppure, il tempo a disposizione non è illimitato: al massimo, possono “dedicare qualche minuto” (p. 21) prima di emettere il giudizio.

Somiglianze e differenze tra quality rater e moderatori di contenuti dei social media

Per quanto non possano rimuovere un sito web o un articolo dalle pagine dei risultati del motore di ricerca, nondimeno i quality rater sembrano essere l’esatto “alter ego” dei moderatori che revisionano i contenuti proibiti o di scarsa qualità sui social media o altre piattaforme come YouTube. Quality rater e moderatori non possono, infatti, censurare a priori i contenuti pubblicati, ma il loro intervento è determinante per la sopravvivenza di questi ultimi sulle principali piattaforme digitali globali.

I quality rater agiscono come i moderatori di contenuti soprattutto nel momento in cui devono catalogare un contenuto come “spam”, “pornografico” o “offensivo”, facendo affidamento su una serie di indicazioni generiche che lasciano al singolo “rater” un ampio margine di discrezione. Non è un caso, infatti, che più e più volte negli anni scorsi i risultati di ricerca di Google abbiano mostrato contenuti del tutto contraddittori tra loro: solo nel 2017, come riportato dal Guardian, i quality rater ricevettero l’indicazione precisa di catalogare come “offensivi” i siti web che negavano l’Olocausto.

Il lavoro di un quality rater, tuttavia, si spinge ben oltre, fino ad esprimere valutazioni che sarebbe preferibile assegnare solo a persone dotate di competenze specialistiche. Nel documento non mancano, infatti, gli esempi di come i quality rater siano chiamati a valutare, tra le altre cose, anche la:

• presenza di informazioni false, incorrette o vere e proprie teorie cospirazioniste in un articolo (p. 44 del documento)
• coerenza tra i contenuti di un articolo e le leggi dello Stato in cui è pubblicato (p. 54)
• qualità delle singole pagine di Wikipedia, anche sulle voci più specializzate (59)
• qualità delle risposte fornite dagli utenti alle domande poste da altri utenti (p. 61)
• qualità dei contenuti che possono arrecare “danno” alle persone, anche se scritti da esperti (64)
• pertinenza di un indice di borsa con una determinata azienda (94)
• attività dei “debunker” e dei “fact checker” professionisti e presunti tali (107)
• correttezza delle informazioni a carattere storico (p. 117 e 123), statistico (p. 154), sanitario, e dichiarazioni di personaggi pubblici riportate negli articoli (p. 121- 122)

Come i moderatori, infine, i quality rater devono verificare di persona e a discapito della propria salute psichica la presenza di contenuti violenti o a carattere pedopornografico all’interno di pagine web e video online (ma, come si legge a p.125-127, con la responsabilità di capire se il soggetto ritratto è minorenne).

Se gli esempi dei contenuti da valutare riportati nelle linee guida (e nella galleria di screenshot qui sopra) sembrano essere molto facili, praticamente alla portata di chiunque, il problema si pone per tutti gli altri esempi non menzionati nel testo: come possono dei quality rater privi di una formazione specifica valutare la qualità di argomenti su cui neppure gli esperti hanno mai raggiunto un accordo definitivo? Come possono farlo nell’arco di pochi minuti e semplicemente “cercando su Google”?

Una domanda tanto più attuale, quanto più le persone tendono ad affidarsi al motore di ricerca per il reperimento di quelle informazioni “YMYL” che hanno un impatto diretto sulla loro salute fisica, psichica ed economica. In alcuni casi, come nel corso della recente pandemia di Coronavirus, i “quality rater” potrebbero non essere in grado di stabilire “in pochi minuti” e “cercando su Google” l’autorevolezza, la veridicità, l’esperienza di una fonte. Soprattutto, quando le stesse fonti ufficiali e giornalistiche riportano informazioni lacunose o non verificate che tuttavia ottengono il massimo di visibilità nelle SERP.

Perché esistono i quality rater?

Il documento di linee guida di Quality Rater di Google è un documento che manca di una componente essenziale: l’algoritmo  di ricerca, praticamente non menzionato nel corso di 168 pagine che pur presentano un intento chiaramente formativo. Tanto i risultati delle pagine del motore di ricerca sembrano essere l’esito di un processo automatico dal punto di vista degli utenti, tanto per i QR la presenza di risultati “di scarsa qualità” non viene mai esplicitamente descritta come un errore algoritmico.

I quality rater sono chiamati a valutare con una certa urgenza i contenuti che appaiono nelle pagine dei risultati di ricerca di Google: siti web, pagine, articoli, ma anche di quei contenuti presenti su Google Maps, su YouTube, nei podcast, e la cui scarsa qualità o errata pertinenza con le ricerche degli utenti potrebbe svelare l’imperfezione dell’algoritmo del motore di ricerca stesso. Ancor prima che la qualità e la pertinenza dei contenuti, i “QR” correggono continuamente le scelte compiute dall’algoritmo nel dare rilevanza a questi ultimi ai primi posti delle pagine di risultati, nella speranza finora disattesa che un giorno l’algoritmo possa fare a meno del loro lavoro.

I quality rater sono coloro che perpetuano l’illusione della capacità dell’algoritmo di Google di interpretare l’intenzione di ogni singola ricerca a partire dall’analisi di dati spesso in totale contraddizione tra loro. Da un certo punto di vista non si può non rimanere impressionati di fronte a questa complessa combinazione di uomini e macchine nel tentativo impossibile di indovinare, quando non anticipare, l’intenzione che si cela dietro ricerche che non trovano risposta altrove: il lavoro dei quality rater è oggi essenziale per far sì che l’algoritmo non porti le persone fuori strada, sia in senso letterale che figurato, quando queste chiedono indicazioni a Google Assistant o cercano informazioni sui sintomi di un tumore maligno.

Dall’altro lato, tuttavia, non è inutile chiedersi se l’intero processo di “quality rating” non possa essere visto come un abuso di potere sulla possibilità di distinguere ciò che è vero da ciò che è falso, ciò che deve essere visibile da ciò che deve essere nascosto, ciò è di qualità da ciò che invece si discosta dall’opinione della maggioranza, per di più secondo il giudizio frettoloso di lavoratori anonimi, temporanei e per lo più impreparati. Finché le persone crederanno alla promessa di un algoritmo in grado di rispondere ai loro bisogni più urgenti con una formula matematica segreta, i quality rater dovranno faticare non poco per nascondere gli errori di valutazione di quest’ultima. Certe magie sono tanto facili da creare, quanto difficili da dimenticare.