Spesso si assiste alla pubblicazione di statistiche senza una vera analisi, ma anche basate su dati falsi. Per evitare problemi meglio risalire alla fonte

Il titolo di un articolo di Alessandro Campi, pubblicato sul Messaggero, ci aveva riempito il cuore di gioia. Il titolo era “L’eccesso statistico dei numeri senza analisi” che noi, partigiani della statistica applicata, prima di leggere l’articolo, avevamo interpretato “troppi numeri, poca analisi dei problemi”.

L’articolo lamentava che al diluvio di dati immessi nei circuiti informativi non corrispondeva una informazione orientativa. E citava dati sul turismo, sul costume degli italiani e sulla cultura giovanile del tutto inventati. Li citava con convinzione, ma erano del tutto inventati, tanto – affermava l’autore – chi ne va a verificare l’autenticità!  Se non fosse – dice sempre l’autore – che su dati inventati si basano spesso posizioni politiche e sociali.Per chi, come noi, si interessa di dati, è difficile non essere d’accordo con queste considerazioni. Il tema dei dati inventati esiste e, nel diluvio informativo è impossibile distinguere i rivoli di autentica informazione da quella inventata o commissionata ad hoc. La distinzione è difficile anche per chi s’interessa professionalmente d’informazione, tante sono le fonti informative e tanti sono i dati. È quindi necessario fare delle distinzioni, individuare nella massa i (pochi) dati di buona qualità.

Cercare di smentire gli innumerevoli dati che circolano in rete o che vengono citati nei talk show o nei bar è come cercare di fermare il vento con le mani. Chi cita dati inconsistenti sa che lo fa e spesso è contrastato da altri che citano dati altrettanto inconsistenti.

L’autore dell’articolo sul Messaggero dice che, se si cita un dato, bisognerebbe almeno citare la fonte. Giusto; si può aggiungere che bisognerebbe dire anche dove e come quella fonte si è procurata il dato. Tuttavia, come precisiamo nel seguito, anche queste sono speranze senza seguito.

Livelli di imprudenza

Per capire a quali livelli di impudenza siamo giunti, basti pensare che certi venditori di prodotti per l’estetica affermano che il loro prodotto “è stato approvato dal 95% dei consumatori”, anzi “dal 90% dei consumatori”, lasciando così un margine per non insospettire l’uditorio, senza specificare che il sondaggio non è stato svolto su generici consumatori, ma solo interpellando quelli che avevano già comprato il prodotto. Come può uno che ha appena comprato un prodotto dire che non gli piace?

Altri venditori, sperando di essere più scientifici, affermano che il loro prodotto “rende i capelli più lisci del 72%”, senza specificare come si stabilisce che un capello è più liscio di un altro. Chissà se hanno chiesto a qualcuno di accarezzarli, oppure se hanno fatto un esperimento confrontando l’opinione di chi si lava i capelli con quella di chi non li lava, oppure, ma questa è una nostra ritorsione per l’impudenza, forse hanno osservato dei pidocchi scivolare lungo i capelli. Dovrebbe esserci un’autorità a impedire che si diffondano certe assurdità.

Da quanto detto si possono trarre due indicazioni consolatorie: 1) le persone hanno un grande bisogno di certezze e questo bisogno è soddisfatto da dati, ossia da numeri idonei a rappresentare “scientificamente” la realtà; 2) esiste una pluralità di fonti informative ufficiali (ISTAT, Banca d’Italia, Unioncamere, Eurostat, OCSE, OMS, FMI, etc.) che si interessano delle nazioni e delle grandi questioni sociali ed economiche, ma spesso ignorano le questioni locali e quelle poste dalla vita quotidiana e dalle scelte strategiche della gente comune e delle imprese.

Il bisogno di dati è una parte del bisogno che hanno le persone di riferirsi ad una entità superiore, in questo caso la scienza, la quale, avvalorando il loro sistema di valori, attribuisce senso ai loro comportamenti. Ogni comportamento consapevole si basa su un sistema di certezze. Ogni volta che una persona crede a un dato, modifica (in proporzione alla fiducia che assegna al dato stesso) l’abito mentale sul quale basa le sue decisioni quotidiane o strategiche.

Va ribadito che un numero non ha lo stesso significato per tutti. Un dato si può interpretare alla luce del sistema di valori individuali, così che su uno stesso dato si possono fare ragionamenti opposti. Per esempio, se un governo, sulla base dei dati ISTAT, dice che l’incremento del PIL è stato del 2%, volendo far intendere che l’aumento del PIL è notevole, troverà le opposizioni a contestarlo dicendo che purtroppo è stato solo del 2% e che sarebbe stato ben altro se fossero stati loro al governo.

Ciò significa però che ambedue le parti danno per scontato che l’incremento è stato del 2% e che chi l’ha calcolato ha fatto un lavoro che, a ragione, possiamo dire “scientifico”. La scienza è la conoscenza al servizio dell’umanità, non di questa o quella parte. Per questo esistono gli enti statistici ufficiali.

Fonti ufficiali e semi-ufficiali

Oltre alle fonti ufficiali ci sono quelle, chiamiamole semi-ufficiali, che si sono guadagnate credibilità per ciò che sanno fare con i numeri (tra tutte, il Censis, la CGIA di Mestre, il Centro Studi della Confindustria, l’osservatorio di qualche ministero avveduto). Per quanto riguarda il nostro Paese, le fonti ufficiali e quelle semi-ufficiali producono stime utili a chi si interessa di questioni di grande livello, e, con l’eccezione del Censis, riguardano quasi esclusivamente l’economia, ignorando, o subordinando a quelle economiche, buona parte delle questioni sanitarie, psico-sociali e ambientali che interessano la gente.

Inoltre, delle stime manca il dettaglio territoriale. Infatti, da quando non ci sono più i censimenti decennali, le stime su base comunale relative all’economia e alla società civile sono poche o punte, quelle sui mercati locali del lavoro o sui distretti produttivi sono rarissime, quelle sui fenomeni naturali a livello locale del tutto assenti.

È noto che l’ISTAT sta operando nella direzione di supplire a queste carenze, ma un maggiore dettaglio territoriale delle statistiche e, in modo particolare delle statistiche sociali, è una esigenza conoscitiva che molti decisori locali e imprenditori avvertono da tempo.

È anche per questo che tante stime da fonti non-ufficiali entrano a far parte del calderone informativo. Lasciamo da parte quelle create a casaccio o volutamente distorte: a queste non c’è rimedio, i parlatori a vuoto e i furbastri esistono ed esisteranno sempre. Cerchiamo, invece, di dare una regolata ai dati tratti da ricerche, sondaggi e analisi svolte con l’intento di conoscere fenomeni sui quali urge una decisione, e che pertanto non solo non possono aspettare i tempi del programma statistico nazionale, ma che devono essere diffusi in tempi quasi reali, altrimenti il dato perde rilevanza dal punto di vista decisionale.

Avvalorare i dati

Per avvalorare i dati non-ufficiali è necessaria una forma di auto-regolamentazione. Le fonti non ufficiali di dati dovrebbero, infatti, convincere che i dati che esse diffondono sono stati fatti come si deve. Se possiedono competenza statistica, indichino in nota come li hanno prodotti (questionario, metodo di rilevazione, campione contattato e campione rispondente, metodo di calcolo delle stime): saranno gli utilizzatori a dedurne la credibilità. Se le fonti non hanno competenza statistica, se la procurino, ovviamente pagandola: l’informazione seria non solo richiede più tempo di quella improvvisata, ma costa ben di più.

Non siamo così ingenui da credere che, per avvalorare una stima, bastino quattro informazioni sulle tecniche adottate per produrla. Questa credenza è stata, infatti, la ragione del fallimento dei tentativi di regolamentazione sperimentati nel passato: gli statistici che l’avevano proposta avevano creduto in buona fede che dichiarare il metodo di produzione dei dati garantisse autenticità alle stime. Tra l’altro, le regole si possono eludere cambiando di poco i dettagli tecnici e si viene lo stesso assolti dalla pubblica opinione, dato che rilevare dati presso la popolazione e le imprese è difficile per tutti, anche per gli organi della statistica ufficiale che possono giovarsi dell’obbligo di risposta.

Per la cronaca: gli stessi censimenti tradizionali che, nelle intenzioni, rappresentavano la realtà dell’intero Paese, perdevano in fase di rilevazione milioni di persone (perché all’estero per lunghi periodi, perché latitanti, perché l’abitazione era protetta da dobermann ad hoc, per ignavia dei rilevatori o degli uffici locali del censimento, etc.).

Oggi si fa un “censimento per campione”, però i problemi di rilevazione che c’erano continuano ad esserci. L’ufficio del censimento della popolazione degli USA dichiara candidamente che nelle città americane non riesce a censire circa l’8% della popolazione, noi ne perdevamo di meno, ma erano milioni e, più passa il tempo, più se ne perdono.

I dati “malleabili”

Ora cerchiamo di far capire perché l’articolo citato in apertura a noi è sembrato solo l’inizio di un discorso. È innegabile che i dati in circolo sono troppi e che c’è sempre un dato che supporta una tesi e un altro che può supportare quella contraria. Ma perché i dati sembrano fatti col pongo, così che ognuno li possa forzare a proprio piacimento?

La ragione è che la maggior parte dei dati è prodotta senza motivazione, non nasce in funzione di un problema a priori. È come fare un biscotto senza avere in mente chi lo mangerà: rimarrà un impasto di farina, non un biscotto. Invece, se c’è un problema per la cui soluzione è necessario fare una ricerca mirata, i dati uscenti diventeranno inequivocabili, o quasi. Quindi, il vero motivo dell’eccessiva flessibilità dei dati circolanti è la carenza di analisi.

Facciamo un esempio. Secondo certi terapeuti sanitari, la pandemia da Covid ha aumentato notevolmente il consumo di alcolici. Secondo le cantine e i commercianti, invece, il consumo di vino e altri alcolici è notevolmente diminuito durante e dopo la pandemia. Chi ha ragione, stante che gli uni e gli altri giurano che i loro dati sono la pura verità?

Abbiamo allora svolto una nostra indagine sulla popolazione italiana chiedendo se, durante la pandemia, consumavano più, meno, o lo stesso volume di alcol di prima e abbiamo rilevato che la stragrande maggioranza degli italiani non ha cambiato le proprie abitudini, oltre il 20% ne ha consumato di meno e meno del 10% ne ha consumato di più. Il saldo, non v’è dubbio, indica una riduzione dei consumi di alcolici avvenuta più rapidamente della pluri-decennale tendenza alla diminuzione del consumo di alcol da parte degli italiani.

In definitiva, hanno detto il vero i cantinieri quando dichiaravano di avere milioni di bottiglie invendute, ma anche i terapeuti che avevano visto i loro pazienti assumere più alcol a causa dei loro problemi fisici o mentali.  Se esistesse un filtro per la qualità dei dati, sarebbero passati dal filtro sia il dato dei terapeuti, sia quello dei cantinieri, però l’analisi dettagliata ha spiegato la complessità del fenomeno, indicando implicitamente specifiche politiche da intraprendere.

Più analisi

Data la difficoltà pratica di produrre dati in risposta ad ogni problema del mondo, è necessario analizzare i dati che costituiscono pilastri informativi per la società civile, dando loro un senso compiuto. Il nostro slogan sarebbe “meno dati, più analisi”. Per questo abbiamo creato l’Osservatorio sull’informazione statistica con la mission di filtrare le informazioni a carattere statistico che circolano nei mezzi di comunicazione di massa, segnalando i casi di disinformazione statistica, proponendo criteri per produrre informazione a partire dai dati, presentando i risultati di studi e ricerche su problemi reali; in sintesi, cercando di capire con i numeri dove va il mondo.

Concludendo, per filtrare i dati in base alla qualità si deve analizzarli sia tecnicamente, sia dal punto di vista sostantivo. Non solo si dà valore informativo al dato, ma si individuano anche le buone fonti. Per sapere se una mela è di buona qualità, si guarda prima da quale pianta proviene. Se il melo non è noto, bisogna sezionare ed esaminare la mela, con circospezione, perché non si sa mai se l’abbia fatta circolare un commerciante senza scrupoli, o addirittura la strega cattiva. Una volta assaggiata, sappiamo che quella e altre mele prodotte dallo stesso melo sono verosimilmente di una certa qualità e si possono mangiare. La parabola vale anche per i dati.

Fonte: Luigi Fabbris | IlSussidiario.net