NUOVI PRINCIPI DI AUTORITA'

 

LA VALUTAZIONE DELLA RICERCA COME NUOVO PRINCIPIO DI AUTORITA'

di Luca Illetterati

[Questo intervento è stato tenuto in occasione di una giornata, organizzata dalla Accademia Nazionale dei Lincei, su L’esperienza della ricerca in Italia]

 

I.

 

Il modo in cui si assume qui la nozione di principio di autorità è molto basico: con esso si intende un’idea, un programma, un framework di un qualche tipo che si impone come principio regolatore della discussione pur essendo esterno rispetto alla pratica razionale della discussione in corso. Il principio di autorità è qualcosa che determina dal di fuori il percorso di un certo discorso, di una certa pratica di ricerca, per cui quel discorso e quella pratica assumono una direzione e una forma che non sono gli esiti di dinamiche intrinseche, ma di indicazioni e leggi che si muovono al di fuori di quel discorso o quella pratica.

In che senso, allora, la valutazione della ricerca può essere pensata come un principio di autorità?

 

La valutazione non agisce infatti determinando la verità o la falsità di una tesi, anche se i casi di falsificazione dei dati a sostegno di una certa tesi in modo da veder pubblicata la propria ricerca all’interno di una prestigiosa rivista non sono certo mancati. La valutazione agisce però determinando ciò che è buono e ciò che non lo è, ciò che è adeguato e ciò che non lo è, ciò che è meritevole di attenzione e di premio e ciò che non lo è. E determinando ciò che è buono, adeguato, meritevole di attenzione e di premio essa si pone di fatto come un vero e proprio principio di autorità, ovvero come una istanza che si impone sulla ricerca dall’esterno, ovvero ancora con un potere autoritativo determinato al di fuori delle pratiche della ricerca, secondo logiche e finalità che sono perlopiù esterne alle logiche e alle finalità della ricerca.

Per mostrare questo, mi soffermerò dapprima su alcune questioni riguardanti la valutazione della ricerca in ambito bibliometrico e successivamente passerò a dire qualcosa circa l’ambito che conosco meglio, in quanto mi ci muovo, che è quello della ricerca di ambito, cosiddetto, non bibliometrico[1].

 

II.

 

Vorrei muovere da un breve testo pubblicato su Nature nel luglio 2016, il cui autore è Mario Biagioli, professore di Law and Communication alla UCLA e di Storia della Scienza ad Harward, curatore di un libro particolarmente interessante per il tema che si sta qui discutendo – Gaming the Metrics: Misconduct and Manipulation in Academic Research.

In questo testo, intitolato Watch Out for Cheats in Citation Game, Biagioli scrive:

 

“Agli scienziati non basta più pubblicare i propri lavori. È imperativo che il lavoro pubblicato sia collocato in uno scaffale editoriale che gli conferisca prestigio e influenza. Questa tensione per l’impatto di quanto si pubblica colloca gli articoli scientifici al centro di una rete di metriche che guardano tipicamente a dove si pubblica e a quante volte il lavoro viene citato. Ottenere un buon punteggio attraverso l’applicazione di queste metriche diventa un obiettivo che gli scienziati e gli editori sono disposti a raggiungere barando”.

 

Non intendo qui concentrarmi sulle frodi accademiche. Ne parlo, citando Biagioli, solo perché la questione è connessa ai modi attraverso cui le pratiche di valutazione incidono sulle forme della ricerca, ovvero ai modi attraverso cui i dispositivi valutativi arrivano ad incidere sulle forme e sui prodotti della ricerca. Ciò è dovuto al fatto che, dove questi dispositivi assumono un potere pervasivo, l’obiettivo della ricerca non è più interno alla ricerca stessa, ma diventa quello che Biagioli nel suo articolo chiama il good score. Nella convinzione – presupposto indiscutibile dalla cultura della valutazione – che good score e good research siano di fatto la stessa cosa.

Secondo Biagioli esiste un nesso evidente tra l’imporsi delle metriche valutative come strumento di carriera e di finanziamento e tendenze distorsive nel campo della ricerca. Scrive Biagioli:

 

“Tutte le metriche della valutazione scientifica sono destinate a essere oggetto di abuso. La legge di Goodhart (che prende nome dall’economista inglese che si dice sia stato il primo a declamarla) afferma che quando un parametro dell’economia è selezionato per diventare un indicatore economico, quel parametro cessa automaticamente di funzionare come indicatore perché le persone iniziano ad agire conoscendo la rilevanza di quell’indicatore, per falsare i dati che ne alimentano la misura.”[2]

 

Questo è testimoniato, secondo Biagioli anche dal fatto che negli ultimi anni è emerso qualcosa di nuovo nell’ambito delle frodi accademiche. Mentre tradizionalmente le frodi accademiche erano sostanzialmente falsificazioni di dati finalizzate a confermare una tesi, la quale poteva essere così pubblicata su una rivista prestigiosa (tutti ricordano il caso del biologo giapponese Yoshiki Sasai, il quale nel 2014 si suicidò dopo che era stato scoperto che la sua collaboratrice aveva falsato le immagini di una ricerca pubblicata qualche mese prima su Nature), oggi c’è una tendenza ad agire sui prodotti sottomessi alle riviste, più che sui dati delle ricerche. Una pratica meno pericolosa e più redditizia, proprio in relazione ai sistemi di valutazione.

 

Scrive Biagioli:

 

“Emerge un nuovo tipo di frode resa possibile dall’impiego delle metriche, che si attua attraverso condotte abusive successive alla “submission” della pubblicazione. Essa appare diffusa quanto altre forme di frodi, come dimostrano almeno 300 lavori ritirati perché la loro peer review risultava attinta da questo genere di comportamento abusivo”.

 

Una pratica, questa, che anche se non falsifica i dati, falsifica l’idea della reputazione che ha effetti decisivi, come noto, sia all’interno del mondo della ricerca come anche al di fuori di esso.

Ora perché avviene questo?

La risposta di Biagioli è molto chiara:

 

“Costoro cercano di produrre (…) pubblicazioni che siano quasi invisibili, ma che possano conferire loro il tipo di curriculum scientifico che sappia soddisfare le metriche di produttività elette a paradigma vincente dalle loro istituzioni accademiche”.

 

Questa, dunque, la conclusione del breve intervento di Biagioli su Nature:

 

La cultura dell’audit delle università – il loro innamoramento per le metriche, i fattori di impatto, le statistiche citazionali e le classifiche – non si limita a incentivare questa nuova forma di comportamento sbagliato. La rende possibile.

Quello che dice Biagioli è molto forte: questo tipo di cultura – ovvero la cultura dell’audit, la cultura del controllo, ma anche la cultura della valutazione e conseguentemente la cultura dei ranking – non è solo ciò che spinge in direzione di comportamenti deprecabili in ambito scientifico. È addirittura la ragion d’essere di questi comportamenti, ciò che le determina e in qualche modo li produce.

III.

Nel 2019 lo stesso Biagioli, insieme a Martin Kenney ha curato un intero special issue della rivista Research Policies sul tema di cui aveva discusso nel breve articolo su Nature. Il titolo dello special issue è: Academic Misconduct, Misrepresentation, and Gaming. Nell’articolo di apertura Biagioli e Kenney, insieme a Ben Martin e a John Walsh tracciano lo stato dell’arte degli studi sul tema e sottolineano come la crescita degli esercizi di valutazione della ricerca, l’aumento della misurazione dell’output quantitativo e la maggiore pressione a pubblicare tendano di fatto a incoraggiare quella che chiamano la MMG (Misconduct, Misrepresentation and Gaming).

 

Sempre all’interno dello stesso special issue c’è un articolo firmato da Marco Seeber, Mattia Cattaneo, Michele Meoli e Paolo Malighetti che prende in considerazione il caso italiano. In esso si mostra in termini difficilmente controvertibili come l’introduzione in Italia di un sistema che collega l’avanzamento di carriera al numero di citazioni ricevute abbia portato a un aumento significativo delle autocitazioni tra gli scienziati in grado di beneficiare maggiormente dell’aumento.

 

Gli autori dell’articolo concludono dunque che, malgrado le metriche vengano perlopiù introdotte con l’intento di stimolare comportamenti virtuosi, esse, soprattutto se non sono progettate correttamente, “favoriscono l’uso di pratiche discutibili”.

Ciò che vale la pena sottolineare è che queste pratiche che vengono qui definite questionable non sono semplicemente ascrivibili secondo Biagioli, Kenney e gli altri coautori a un comportamento individuale inadeguato:

 

I vari sistemi di ranking delle università hanno anche aumentato la pressione sulle organizzazioni per ingannare il sistema. Un modo per migliorare il ranking di un’organizzazione è quello di aumentare la pressione sui ricercatori per modificare il loro comportamento in modi che possano migliorare il ranking.

 

Che cosa evidenziano dunque queste ricerche?

Ciò che esse mettono in luce è che i sistemi di misurazione dell’impatto di una ricerca – ma il punto vale in generale per tutti i sistemi di valutazione della ricerca, non solo per le valutazioni di impatto – non si limitano mai a descrivere una realtà già data, ma tendono invece, come risulta evidente dagli esempi proposti, a costruirla o comunque a modificarla. La valutazione non è mai una fotografia dell’esistente, ma è qualcosa che incide invece sull’esistente, che lo determina, che lo indirizza. Essa tende cioè sempre più ad assumere la forma del principio di autorità, ovvero di un principio che determina le pratiche della ricerca pur essendo di fatto estraneo alla logica intrinseca della ricerca.

 

Ovviamente tutto questo all’interno del clima di competizione connesso al publish or perish può avere effetti anche deflagranti, come testimoniano appunto i sempre più frequenti casi di frode accademica che colpiscono anche le più prestigiose riviste scientifiche internazionali.

Ernesto Carafoli, in un suo articolo sulle frodi accademiche propone una serie di suggerimenti per arginare il fenomeno. La maggior parte di questi suggerimenti sono tecnici. Le misure tecniche, però, aggiunge in conclusione, non affrontano la radice del problema.

 

E qual è questa radice?

 

la necessità di eliminare la sproporzionata enfasi sugli indici bibliometrici nell’assegnazione dei fondi alla ricerca e nella formazione e sviluppo delle carriere. La valutazione rigorosa dei risultati del lavoro scientifico è naturalmente necessaria e gli indici bibliometrici possono contribuirvi. Ma l’ansia, ora così generale, di pubblicare in riviste di punta per non scomparire professionalmente è al di fuori delle corrette motivazioni del fare scienza.

 

Carafoli chiude il suo articolo con la dichiarazione espressa da Randy Scheckman il giorno stesso in cui ha ricevuto il Premio Nobel: la scienza, dice Scheckman, è in mano ad una casta, la quale domina le principali riviste che perciò distorcono il pensiero scientifico e rappresentano una tirannia che per il bene della scienza va spezzata. Per questo Scheckman insieme ad altri scienziati ha aderito al progetto di una nuova rivista open access, che si chiama eLife, che da una parte agisce per migliorare la comunicazione della ricerca attraverso la open science e la open technology innovation, dall’altra rifiuta esplicitamente il ricorso agli indici bibliometrici:

 

eLife does not support the Impact Factor and is a co-founder of the Declaration on Research Assessment (DORA). Regularly updated metrics relating to the eLife editorial process are available in our Author Guide.

 

Questi esempi mostrano come e quanto il sistema di valutazione della ricerca basato sui fattori di impatto entra dentro le maglie della produzione scientifica, e al di là delle deformazioni che produce talvolta persino sui risultati stessi della ricerca, come e quanto agisce come fonte normativa per la ricerca, ovvero come principio di fatto extrascientifico rispetto alle pratiche di ricerca vere e proprie e tuttavia in grado di determinarne la condotta

 

IV.

 

Il 21 gennaio dello scorso anno (2020), è apparso su Le Monde un manifesto che di fatto era una candidatura collettiva di circa 3000 ricercatori alla Presidenza dell’Agenzia di valutazione francese (HCERES)[3].

Vale la pena citare alcuni punti del manifesto (i corsivi sono miei):

 

1.

 

Poiché si fonda sull’orizzonte comune della ricerca della verità, la scienza presuppone l’autonomia di studiosi, ricercatori e docenti universitari rispetto ai poteri da cui il suo esercizio dipende, siano essi politici, economici o religiosi. Questa libertà accademica non deve essere pensata come un’assenza d’impedimento, bensì come una libertà positiva, da garantirsi con mezzi efficaci. Il suo risveglio deve cominciare con una riaffermazione delle condizioni pratiche di questa autonomia.

 

2.

 

Nella prassi, da secoli, i requisiti di qualità e originalità delle opere scientifiche sono garantiti dalla norma della controversia collegiale (la disputatio dei classici), vale a dire dalla discussione libera e in contraddittorio entro la comunità dei pari. Questo principio di gratificazione sociale fondato sul riconoscimento del valore intellettuale delle opere è irriducibile ad una “valutazione” amministrativa che riposi su un sistema di regole quantitative esterne, determinate dagli interessi degli investitori: ogni metrica normativa smette rapidamente di essere una mera misura per diventare essa stessa l’obiettivo da raggiungere.

 

Ciò che i ricercatori francesi mettono in evidenza è proprio il punto sul quale vorrei qui attirare ulteriormente l’attenzione: ciò che i dispositivi valutativi di fatto modificano in modo radicale è la pratica della determinazione stessa della qualità dei prodotti della ricerca. Questo punto, che come si è cercato di vedere vale per l’intera ricerca, sia essa quella delle cosiddette scienze dure, come anche delle scienze della vita e delle scienze umane e sociali, per queste ultime, dove non esiste una pratica consolidata di impatto citazionale, è particolarmente sensibile.

Come si è dunque sopperito qui alla difficoltà di ricorrere alla valutazioni di impatto citazionale?

 

Si è cercato di introdurre anche qui – nelle scienze umani e sociali – elementi che consentissero valutazioni automatiche e meccaniche, ovvero valutazioni che di fatto prescindono dalla considerazione specifica del prodotto scientifico.

È questo il caso, ad esempio, della distinzione operata in Italia dall’Anvur fra riviste scientifiche di classe A, riviste scientifiche, e riviste non scientifiche.

 

Una distinzione che fa a pugni con la San Francisco Declaration on Research Assessment, ovvero con la sopracitata DORA.

In quella dichiarazione, che è stata sottoscritta da migliaia di ricercatori e da numerosi Nobel, si propongono queste raccomandazioni:

 

1.   la necessità di eliminare l’uso di metriche relative alle riviste scientifiche, come i Journal Impact Factor, dai criteri per la distribuzione di fondi per la ricerca, per le assunzioni e le promozioni;

 

2.   la necessità di valutare la ricerca scientifica per i suoi meriti intrinseci piuttosto che sulla base della rivista in cui viene pubblicata;

 

3.   la necessità di sfruttare le opportunità offerte dalla pubblicazione on-line (ad esempio riducendo gli inutili limiti posti sul numero delle parole, delle immagini e dei riferimenti bibliografici negli articoli, ed esplorando nuovi indicatori di rilevanza e di impatto).

 

DORA inoltre suggerisce:

 

di evidenziare, soprattutto per i ricercatori più giovani, che il contenuto scientifico di un articolo è molto più importante delle metriche riferite alla pubblicazione o del nome della rivista in cui l’articolo è stato pubblicato.

 

La classificazione di stato delle riviste tuttora attiva in Italia in seguito alla sua istituzione per iniziativa dell’ANVUR – e che è, a quanto mi consta, un unicum mondiale – contraddice tutti questi punti.

 

Essa, infatti,

 

a) serve all’allocazione delle risorse (contro il punto 1 di DORA): molti dipartimenti e molti Atenei, ad esempio, incentivano con premi i ricercatori che pubblicano in fascia A, indipendentemente da qualsiasi valutazione di merito delle pubblicazioni;

 

b) consente una valutazione dei prodotti scientifici a partire dal contenitore in cui essi si trovano inseriti (contro il punto 2 di DORA): aver pubblicato articoli in fascia A è infatti uno dei criteri che devono essere soddisfatti per concorrere all’Abilitazione Scientifica Nazionale, per far parte di commissioni di valutazione, fino a poco tempo fa anche per entrare a far parte di un collegio di dottorato.

 

c) Di fatto ostacola l’innovazione e in particolare la creazione di nuove riviste, magari ad accesso aperto e senza limiti predeterminati nella selezione dei prodotti da pubblicare (contro il punto 3 di DORA). E’ evidente, infatti, che se le pubblicazioni che incidono sul curriculum di un ricercatore sono solo quelle pubblicate in riviste classificate dall’Agenzia di Valutazione, per una nuova rivista, che ovviamente in quanto nuova non può essere considerata dall’Agenzia, sarà estremamente difficile pubblicare articoli di alta qualità in quanto gli autori tenderanno perlopiù a proporli a riviste già classificate, creando in questo modo un circolo vizioso tutto a danno del nuovo, di ciò che si pone ai margini dei percorsi classici e riconosciuti, di chi tenta la strada da tutti osannata e poi sempre di fatto ostacolata dell’interdisciplinarietà[4]

 

In generale la classificazione di stato delle riviste scientifiche produce esattamente il contrario di quanto suggerito da DORA in relazione soprattutto alle nuove generazioni. Il potere che viene affidato alle riviste di fascia A in relazione alle possibilità di carriera di un ricercatore è infatti tale da rendere il nome della rivista in cui l’articolo è stato pubblicato più importante del contenuto stesso dell’articolo.

La classificazione di stato delle riviste scientifiche produce una serie di effetti che sono sotto gli occhi di tutti coloro che vogliono vedere:

 

a) trasforma le riviste e le microcomunità che controllano le riviste in veri e propri centri di potere;

 

b) sposta l’asse delle ricerche sui temi e sugli stili che caratterizzano queste riviste;

 

c) tende a omologare la biodiversità nell’ambito della ricerca costringendo i ricercatori ad adattarsi a pratiche che vengono imposte dalle riviste e dalle sedi editoriali considerate più forti e non dai percorsi interni alla ricerca;

 

d) impedisce la nascita di nuove imprese editoriali innovative: una rivista nuova non solo non può essere classificata come rivista di fascia A, ma all’inizio non può nemmeno essere classificata come rivista scientifica.

 

V.

 

Ci sono certo alcuni movimenti che si muovono in una direzione di resistenza rispetto a queste derive.  Nel 2018, ad esempio, è nato il CoRiFi un coordinamento che riunisce un gruppo piuttosto significativo di riviste dell’area filosofica. Scopo del coordinamento è quello di assumere, in vista di un miglioramento delle loro pratiche e quale criterio interno di promozione della qualità scientifica dei loro prodotti, alcune regole comuni, in parte connesse con la specifica fisionomia degli studi cui sono rivolte. Queste riviste – si dice nel documento fondativo del coordinamento – intendono condividere alcune procedure le quali “senza pretendere di garantire da sé sole lo standard di scientificità richiesto per una pubblicazione filosofica né di fissarne in modo definitivo i confini, sono tali da contribuire al suo conseguimento”.

 

Il punto importante del documento attorno al quale si è costituito il CORIFI è questo:

 

Lo standard di qualità, che gli strumenti e le regole di cui sopra mirano a conseguire, intende superare ogni classificazione e non contempla alcuna ipotesi di distinzione per classi o fasce di scientificità. Il maggiore o minore prestigio di una rivista è un fattore certamente inevitabile della ricerca scientifica, che deve tuttavia essere lasciato alle libere, mutevoli e non standardizzabili dinamiche delle comunità scientifiche.

 

Perché il CORIFI si oppone alla distinzione per classi o fasce di qualità?

Il documento lo dice in modo molto chiaro:

 

La fissazione di una lista di riviste di “elevato” standard qualitativo può solo condurre, infatti, a una valutazione meccanica che prescinda dai contenuti progettuali e dal valore intrinseco delle pubblicazioni, con il risultato di trasferire anzi su queste ultime il rating del contenitore. Favorisce inoltre una maggiore “settorializzazione” delle pratiche di pubblicazione, che scoraggia forme di ricerca interdisciplinare, dato che la classificazione è stata riferita a singole aree o settori disciplinari. È anche tendenzialmente lesiva della ricchezza e della pluralità del panorama culturale, e delle corrette condizioni del mercato editoriale, determinando di fatto un pregiudizio notevole a danno delle riviste non incluse nella classe A che, trovandosi fatalmente svantaggiate nelle scelte degli autori, vedranno messa a rischio anche la capacità di mantenere un adeguato standard di scientificità e di conservare l’interesse dei lettori. Favorisce inoltre il diffondersi di un comportamento adattativo e conformista da parte dei giovani ricercatori.

 

La classificazione di stato delle riviste tende dunque 1) a incentivare la valutazione dei prodotti scientifici in relazione al contenitore in cui essi sono collocati; 2) a favorire la settorializzazione del sapere premiando riviste del tutto omogenee ai settori scientifici e marginalizzando quelle meno ‘disciplinate’; 3) ad agire come fattore niente affatto irrilevante tanto all’interno delle dinamiche del dibattito culturale (determinando alcuni luoghi come più rilevanti di altri) quanto del mercato editoriale (attribuendo un valore che diventa giocoforza anche economico e di potere); 4) a disincentivare la nascita di nuove iniziative scientifiche e culturali troppo penalizzate dall’essere escluse dalla classificazione prima di raggiungere quel livello che proprio l’essere escluse dalla classificazione impedisce; 5) favorisce comportamenti adattativi rendendo alcuni stili di ricerca ‘forti’ nella classificazione quelli che devono essere perseguiti se si vuole crescere in termini di carriera e riconoscimento accademico.

 

VI.

 

C’è un ultimo punto che vorrei qui richiamare in relazione alle scienze umane e sociali per mostrare in che senso i dispositivi valutativi funzionino sempre più come principi di autorità esterni alla ricerca.

Per mostrarlo mi riferisco alle tabelle con i valori soglia per accedere all’ultima abilitazione scientifica nazionale all’interno dei settori non bibliometrici. C’è un dato particolarmente interessante in questi valori, che è quello relativo alla numerosità dei libri che vengono richiesti ai candidati. Per tutti i settori non bibliometrici il valore soglia dei libri per i candidati all’abilitazione alla seconda fascia di docenza è 1, in alcuni 0.

 

Questa è una assoluta novità dell’ultima tornata di abilitazioni. Precedentemente, quando si ragionava in termini di mediane e non di valori soglia, il numero era sempre stato maggiore, tanto che in alcuni settori girava l’invito – un po’ scherzoso e un po’ no – a pubblicare meno per non alzare troppo le mediane.

Perché allora adesso il valore è 1 o 0?

 

Credo che qui emerga in modo molto chiaro l’effetto delle politiche valutative sulle pratiche di ricerca.

Da un lato, infatti, l’abbassamento del valore soglia del numero di monografie necessarie è un prodotto delle politiche valutative di questi anni che hanno privilegiato la forma-articolo e soprattutto reso sempre più importante il criterio relativo al numero di articoli in riviste di Fascia A pensato come un criterio quantitativo e qualitativo insieme. In questo modo, le monografie, che in molti settori scientifici non bibliometrici erano l’esito naturale e decisivo di un percorso di ricerca, sembrano aver perso quella rilevanza che avevano in passato. In questo senso l’abbassamento di quel numero sarebbe dunque un effetto dell’influenza delle pratiche valutative sulla ricerca stessa, ovvero l’esito di un processo autoritativo esterno sulle pratiche della ricerca.

 

Dall’altro lato, è del tutto evidente che quel numero non riflette affatto un valore medio della produzione di monografie all’interno dei settori a cui si riferisce. Il che fa emergere un sospetto che è qualcosa di più di un sospetto. Quel numero più che essere un valore medio dice invece normativamente quale è bene che sia il valore medio, ovvero prescrive e non descrive. Quel valore, cioè, non fotografa affatto la realtà, ma la norma, e attraverso questa attività normativa la costruisce e la costituisce, dice cosa è importante e cosa non lo è, orientando così la prassi di chi si muove all’interno di quel tipo di realtà.

Credo sia qui evidente cosa si debba intendere quando parlo della valutazione come nuovo principio di autorità.

 

VII.

 

Come cercare di uscire, dunque, dal tipo di problematicità che ho cercato qui di delineare?

Al di là di tutti gli accorgimenti tecnici che si possono proporre per evitare errori e confusioni, quello che è necessario è un autentico cambio di prospettiva nella considerazione della ricerca, ovvero una vera e propria trasformazione culturale, un modo diverso di guardare alla ricerca e conseguentemente una diversa politica della ricerca. Solo così si può pensare di invertire un trend che rischia di diventare sempre più pericoloso.

 

Si tratta in questo senso di avere il coraggio di mettere in discussione ciò che sembra impossibile mettere in discussione nella cornice retorica delle politiche della ricerca contemporanea, ovvero la stessa cultura della valutazione. Ovvero ancora l’idea che la cultura della valutazione sia intrinseca alla natura della ricerca.

Certo, ogni ricerca deve essere pubblica e deve perciò disporsi al giudizio e alla considerazione critica della comunità di ricerca. Ma prima ancora, verrebbe da dire, ogni ricerca, per essere tale, per essere ricerca nel senso pieno e autentico del termine, deve essere libera: non deve cioè soggiacere a logiche esterne che la indirizzino in una direzione piuttosto che in un’altra. E solo in quanto davvero libera, essa diventa anche pubblica.

 

Cosa significa però dire che la ricerca deve necessariamente disporsi al giudizio? E, ancora più radicalmente, cos’è il giudizio? Qual è la considerazione che il giudizio implica?

Il giudizio, il quale costituisce davvero una parte fondamentale e decisiva dell’attività di ricerca, è la capacità di cogliere gli aspetti innovativi di una ricerca o di evidenziare in essa dei bias, è cioè in generale la facoltà di apprezzare e criticare un determinato procedimento, di evidenziare e portare allo scoperto le connessioni che esso riesce ad attivare, gli ambiti di esperienza e di scienza che riesce a dischiudere. In questo senso è chiaro che il giudizio è parte integrante del processo della ricerca, in quanto esso implica una esplicitazione delle ragioni che la sottendono, una discussione delle prospettive in campo, e, in questa esplicitazione e in questa discussione, una assunzione di responsabilità. I processi di valutazione automatica e meccanica basati sugli indicatori di impatto o, peggio ancora, sulle collocazioni editoriali dei prodotti della ricerca hanno evidentemente poco o nulla a che fare con il giudizio. Si può anzi dire che i modi in cui la valutazione si è andata sempre più imponendo all’interno delle politiche della ricerca, la rilevanza del tutto eccezionale e debordante che essa è andata assumendo ha prodotto di fatto un progressivo indebolimento, se non addirittura una inesorabile eliminazione, del piano – fondamentale – del giudizio. Tale indebolimento ed eliminazione hanno contemporaneamente portato a una progressiva evaporazione della responsabilità di chi si impegna nel giudizio. Il responsabile di questo giudizio assoluto e oggettivo che è ad esempio la valutazione di impatto, che sono le diverse forme della valutazione bibliometrica o anche i meccanismi di peer review finalizzati all’elaborazione di un punteggio, è, infatti, il sistema, è la macchina valutativa stessa: è, cioè, tutti e nessuno. Gli indicatori di impatto e le diverse modalità di valutazione bibliometrica, compresa l’assurdità della classificazione in fasce delle riviste dalla quale si pretende poi di derivare la qualità del prodotto considerato, sono modalità che sostituiscono e cancellano il giudizio senza svolgere la funzione – imprescindibile – che è propria del giudizio. E, soprattutto, sono meccanismi irresponsabili. Non c’è nessuno, in essi, che si mette in gioco e si esponga dunque alla pubblica discussione come accade invece, sempre e necessariamente, nel giudizio. I dispositivi di valutazione hanno già deciso ciò che conta nella ricerca: essi sono una sorta di decisione preliminare, un sistema di norme che orientano, indirizzano, formano la condotta dei ricercatori in modo tale che essi facciano ricerca adeguandosi ai parametri che la valutazione stessa impone. Più che valutare la qualità di una ricerca, il suo “valore”, la macchina valutativa valuta soprattutto la prontezza dei ricercatori ad accogliere il sistema normativo previsto ed esprime in questo modo un giudizio implicito più che sulla loro ricerca, sulla loro “buona condotta” di ricerca, sulla capacità di adattarsi agli indicatori di “qualità” previsti e decisi al di là e al di fuori della concretezza dei percorsi di ricerca.

 

Ma la valutazione – si sostiene – anche se esterna alla ricerca svolge quella funzione di accountability a cui devono essere sottoposte tutte le attività finanziate con fondi pubblici. È una logica, questa, totalmente oramai integrata dentro qualsiasi discorso relativo alla ricerca. E tuttavia, proprio qui, a mio parere, si rischia uno scivolamento niente affatto banale e invece pericolosissimo, ovvero quello di trasformare l’opinione pubblica nel referente naturale dei processi di valutazione. Per evitare cioè quell’accusa di autoreferenzialità che è diventata, come noto, nel dibattito pubblico, pericolosa come la peggiore delle malattie, si rischia di aprire la strada a fenomeni ben studiati di indirizzamento esterno della ricerca e di soggiogamento delle pratiche di ricerca a istanze estranee della ricerca e che ne inficiano seriamente l’elemento costitutivo fondamentale, ovvero la libertà.

 

Nel settembre del 2013 durante la campagna elettorale per le elezioni politiche in Australia – elezioni che hanno poi portato alla vittoria del leader dei conservatori Tony Abbott – il responsabile delle politiche di razionalizzazione del partito di Abbott disse che se i conservatori avessero vinto (come poi effettivamente avvenne) si sarebbero disfatti di tutte quelle inutili attività pagate dallo stato che apparivano evidentemente a chiunque solo come soldi rubati ai contribuenti, i quali per queste inutilità dovevano pagare più tasse di quanto sarebbe stato loro dovuto. Precisamente disse che, se avessero vinto, si sarebbero disfatti di “those ridiculous research grants that leave taxpayers scratching their heads wondering just what the government was thinking”. E indicò alcuni progetti – diretti, peraltro, da autorevolissimi studiosi – che dimostravano in modo evidente la loro totale inutilità per la società e l’economia australiane, in quanto appunto, autoreferenziali. Questo passaggio non è dovuto però banalmente alla cattiveria del responsabile delle politiche di razionalizzazione del partito conservatore australiano, ma è del tutto coerente con il principio secondo cui la ricerca scientifica deve essere sottoposta al giudizio di elementi esterni alle pratiche della ricerca.

 

È in questo senso che ritengo si possa parlare della valutazione come del nuovo principio di autorità.

Si dice che la valutazione è ciò che consente alle eccellenze di emergere. La parola eccellenza è una parola che abbiamo visto imporsi sempre più in questi anni, finendo per diventare, perlomeno alle mie orecchie, una sorta di mantra nauseante. Il pericolo è però che l’eccellenza che emerge grazie ai dispositivi valutativi sia ciò che è adeguato agli indicatori che la misurano, ovvero che l’eccellenza sia sempre meno un valore intrinseco della ricerca e sempre più un processo di adeguamento ai processi di misurazione che sono stati elaborati al di fuori della ricerca, con fini del tutto diversi da quello di misurare la qualità della ricerca e tuttavia sempre più assunti come normativi e legislativi rispetto alla ricerca stessa. Si rischia cioè di entrare nel paradosso per cui si svolgono delle azioni, ci si orienta in un modo o nell’altro nella ricerca, si scrive secondo un certo stile o secondo un altro stile, ci si riferisce a certe pubblicazioni e non ad altre, non perché tutto questo sia dettato da regole interne alla ricerca che si sta svolgendo, ma per adeguarsi a dei criteri che la valutazione è in grado di catturare ed apprezzare. Si rischia cioè di entrare in una dimensione in cui una ricerca appare buona quando si adegua a delle forme che stabiliscono, al di fuori di essa, al di fuori cioè della sua specifica dinamica interna, cos’è una ricerca buona.

 

Ed è appunto così che funzionano i principi di autorità.

 

Note

 

[1] È appena il caso di notare che già la distinzione tra ricerca di ambito bibliometrico e ricerca di ambito non bibliometrico è una distinzione che assume senso solo ed esclusivamente a partire dalla prospettiva imposta dalla valutazione.

[2] Accanto alla legge di Goodhart si potrebbe citare anche quella che viene chiamata la legge di Campbell, forse più specifica nel descrivere il fenomeno. Secondo la legge di Campbell: The more any quantitative social indicator used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor. Cfr. Campbell, Donald T (1979). “Assessing the impact of planned social change”. Evaluation and Program Planning. 2 (1): 67–90.

[3] La traduzione italiana del documento è stata pubblicata sul Bollettino di filosofia politica (https://btfp.sp.unipi.it/it/2020/01/in-difesa-dellautonomia-della-ricerca-e-della-didattica-un-manifesto-francese/

[4] La classificazione delle riviste ANVUR è specifica per ogni settore scientifico disciplinare. Il che significa che se un esperto di un settore X riesce a portare alcuni elementi specifici della propria ricerca all’interno del settore Y creando così quell’innovatività di cui tutti si riempiono la bocca, se i risultati li pubblica in una rivista che vale per il settore Y e non per il settore X quella pubblicazione vale per lui (ovvero per la sua carriera) di fatto nulla.

ARTICOLO RIPRESO DA  http://www.leparoleelecose.it/?p=41505