CATHY O'NEIL, Nel tempo dei "Big Data"

Cathy O'Neil

Posto qui l'estratto dal libro di Cathy O’Neil, Armi di distruzione matematica (Giunti 2017), pubblicato qualche mese fa da “pagina 99”. Opera di una matematica prima "pura", poi prestata all'economia, mi pare un libro di grande interesse. 

Nel tempo dei Big Data

La matematica come arma di distruzione.

Cathy O’Neil

Da bambina, avevo l’abitudine di osservare dal finestrino le auto che si muovevano nel traffico e di studiarne i numeri di targa scomponendoli in numeri primi. Si chiama fattorizzazione, ed era il mio passatempo investigativo preferito. All’università mi iscrissi a Matematica, per poi conseguire un dottorato di ricerca con una tesi sulla teoria algebrica dei numeri. Ottenni poi una cattedra al Barnard College, il cui dipartimento di Matematica è affiliato alla Columbia University.

Tutto parte dalla finanza

E poi il grande cambiamento: lasciai il posto all’università per andare a lavorare come quant, ossia come analista quantitativa, presso D.E.Shaw, un hedge fund di primaria importanza. Nel lasciare il mondo accademico per la finanza, portavo la matematica dall’astrazione della teoria alla concretezza della pratica.

Le operazioni che svolgevamo sui numeri si traducevano nel rimescolamento di migliaia di miliardi di dollari da un conto all’altro. All’inizio ero elettrizzata e stupita dal fatto di lavorare in questo nuovo laboratorio che era l’economia globale, ma nell’autunno del 2008, quando mi trovavo lì da poco più di un anno, tutto precipitò.

Il tracollo chiarì senza ombra di dubbio come la matematica in cui un tempo mi rifugiavo fosse non solo legata a triplo filo con i problemi del mondo, ma in parte li alimentasse. Inoltre, grazie agli straordinari poteri che io tanto amavo, la matematica sposata alla tecnologia riusciva a moltiplicare il caos e le sventure.

Se avessimo avuto le idee chiare, a quel punto avremmo fatto tutti un passo indietro per capire in che modo avessimo fatto cattivo uso della matematica e come avremmo potuto evitare una simile catastrofe in futuro.

Il punto di svolta

E invece, sull’onda della crisi, le nuove tecniche matematiche erano più trendy che mai, pronte a ramificarsi in ambiti sempre più vasti e a elaborare ininterrottamente petabyte di dati, gran parte dei quali raccolti setacciando i social media o i siti di e-commerce. Dati focalizzati sempre più non già sui movimenti dei mercati finanziari globali ma sugli esseri umani, cioè noi. I matematici e gli esperti di statistica si erano messi a studiare i nostri desideri, i nostri spostamenti, il nostro potere d’acquisto, a formulare previsioni sulla nostra affidabilità e a calcolare il nostro potenziale in veste di studenti, lavoratori, amanti, criminali. Era l’economia dei Big Data, e prometteva enormi guadagni. Con un programma e un computer, si potevano analizzare migliaia di curriculum o richieste di finanziamento in un paio di secondi e organizzarli in elenchi ordinati, con i candidati più promettenti in cima alla lista. Questo modo di operare non solo faceva risparmiare tempo, ma si diceva anche che fosse equo e obiettivo. Niente più individui pieni di pregiudizi a leggere carte e documenti, solo macchine impegnate a elaborare freddi numeri.

Numeri e pregiudizi

Attorno al 2010, la matematica era diventata una componente preponderante nelle questioni umane come mai prima di allora, e l’opinione pubblica ne era in massima parte felice. Ma sentivo che i guai erano dietro l’angolo. Le applicazioni matematiche che facevano girare l’economia dei dati si basavano su scelte di esseri umani fallibili i quali senza dubbio, in molti casi, erano animati dalle migliori intenzioni.

Ciò nonostante, molti di questi modelli avevano codificato il pregiudizio umano, l’incomprensione e l’errore sistematico nei software che controllano ogni giorno di più le nostre vite. Come fossero divinità, questi modelli matematici erano misteriosi e i loro meccanismi invisibili a tutti, tranne che ai sommi sacerdoti della materia: matematici e informatici.

I loro giudizi – anche se sbagliati o pericolosi – erano incontestabili e senza appello. E se da una parte penalizzavano i poveri e gli oppressi della nostra società, dall’altra aiutavano i ricchi ad arricchirsi sempre di più. Ho trovato un nome per questo genere di modelli negativi: li chiamo “armi di distruzione matematica”, o adm [...].

Contro i poveri

I datori di lavoro, per esempio, ricorrono sempre più spesso al cosiddetto credit scoring, ossia le valutazioni di affidabilità creditizia, per giudicare potenziali candidati. Chi paga regolarmente le bollette – questa è l’idea di fondo – arriverà presumibilmente puntuale al lavoro e sarà incline a seguire le regole. In realtà, ci sono moltissimi individui responsabili e ottimi lavoratori che hanno la sventura di veder diminuire la loro affidabilità creditizia.

Ma l’idea che la difficoltà di accedere al credito sia correlata a un cattivo rendimento sul lavoro fa sì che le persone con un’affidabilità creditizia bassa abbiano minori probabilità di trovare lavoro. La mancanza di lavoro le spinge verso la povertà, rendendole ancora meno affidabili da un punto di vista creditizio e mettendole in una posizione sempre più svantaggiata sotto il profilo occupazionale. È una spirale discendente. E gli imprenditori non sapranno mai quante persone valide e meritevoli si sono lasciati sfuggire per aver focalizzato tutta l’attenzione sull’affidabilità creditizia dei candidati. Nelle adm, molti assunti dannosi vengono mimetizzati dietro il velo della matematica, con il risultato che nessuno li verifica né li mette in discussione. Questo evidenzia un’altra caratteristica comune delle adm, e cioè la tendenza a penalizzare i poveri. Ciò avviene, in parte, perché sono progettate per valutare gli individui in grandi numeri. Nascono per una gestione all’ingrosso, e costano poco. Fa parte del loro fascino. I ricchi, per contro, vengono spesso considerati nella loro individualità. Un prestigioso studio legale sarà di certo più propenso di una catena di fast food o di un distretto scolastico a corto di finanziamenti a prendere in esame candidati raccomandati da qualcuno e a organizzare colloqui individuali. I privilegiati, come vedremo spesso, vengono tendenzialmente valutati da persone in carne e ossa, le masse dalle macchine.

«Che ci vuoi fare?»

Le armi di distruzione matematica non ascoltano, non si piegano. Sono sorde non soltanto al fascino, alle minacce e alle lusinghe, ma anche alla logica, persino quando ci sono buone ragioni per dubitare dei dati che alimentano le loro conclusioni. Certo, qualora risulti evidente che dei sistemi automatizzati sbagliano in maniera sistematica e imbarazzante, i programmatori tornano sui loro passi e ritoccano gli algoritmi. Ma nella maggior parte dei casi, i programmi emettono sentenze inflessibili, e gli esseri umani che le applicano non possono far altro che stringersi nelle spalle, quasi a dire: “Che ci vuoi fare?”.

Pagina 99, 8 dicembre 2017