[ISSN 1825-0300]
N.
9 – 2010 – D-&-Innovazione
Criteri per
la valutazione della ricerca nel campo delle scienze umane e sociali (C.N.R.)
Premessa
Il
presente documento è frutto dei lavori svolti negli incontri di un
gruppo di esperti sui criteri di valutazione delle attività di ricerca
in campo umanistico tenuti a Roma, nella Sede centrale del CNR il 6.10
(adunanza plenaria), 26.10 (gruppo di lavoro ristretto), 11.11 (adunanza
plenaria) e 15.12.2009 (adunanza plenaria), su invito del Consiglio Scientifico
Generale del CNR, sotto la presidenza del prof. Luigi Labruna.
Esso
analizza (Sezioni A e B) la situazione relativa alla valutazione dei prodotti
della ricerca negli ambiti disciplinari delle scienze umane e sociali
(monografie, saggi, articoli etc.), nonché dell’alta divulgazione
scientifica negli stessi campi, considerando opportuno che di questa abbiano
titolo a fare parte anche gli strumenti di tipo manualistico utilizzati per la
formazione a livello accademico. Si propongono requisiti minimi dei prodotti
valutabili, ai fini delle ricognizioni che possano costituire uno strumento di
lavoro accettato e riconosciuto dalla comunità scientifica per
l’ammissione alle valutazioni comparative (salva, ovviamente,
l’indipendenza di giudizio e la responsabilità delle Commissioni),
per l’anagrafe della ricerca, per i finanziamenti nelle diverse sedi
(FFO, PRIN, finanziamenti regionali, progetti europei), per la concessione
degli scatti retributivi biennali dei docenti (l. 1/2009), e per le attività
dell’ANVUR in sede di valutazione qualitativa delle Università.
In
una seconda parte (Sezione C) si presenta, in forma di un progetto per la
sperimentazione dei criteri stabiliti e descritti nella prima parte, una
modalità di valutazione tecnologicamente innovativa. Essa, infatti, si
basa sugli attuali sviluppi del Web 2 che valorizza la dimensione sociale e
collaborativa la quale è (o dovrebbe essere) tipica di una determinata
comunità. Fanno parte di questa nuova visione del Web almeno 3 componenti,
tutte interessanti per i ricercatori delle Scienze Umane e Sociali: il
documento (il contributo scientifico, l’articolo, la monografia),
l’interpretazione (la recensione, eventualmente classificata secondo una
scala di apprezzamento) e l’intersoggettività (il dibattito fra
‘pari’). Tutti questi elementi entrano in gioco nel progetto
descritto ai fini di un nuovo metodo di produzione e valutazione del sapere.
A. – CONSIDERAZIONI
PRELIMINARI
Considerate
le caratteristiche della ricerca nei settori umanistici e delle scienze sociali
e della relativa valutazione, si sono rilevate
a) la possibilità e la
necessità della valutazione stessa;
b) l’esigenza di
un’organizzazione per quanto possibile omogenea dei criteri di
valutazione della produzione scientifica in tali ambiti, riconoscendo
però le specificità dei settori attraverso eventuali
disaggregazioni dei criteri;
c) la finalità di
garantire – attraverso tale valutazione – oggettività e
trasparenza nell’attività di promozione della ricerca e nel
reclutamento degli studiosi;
d) la necessità di
valutare la produzione scientifica sotto il profilo qualitativo e non (solo)
quantitativo, contribuendo cosí – facendo seguito alla
dichiarazione del Presidente prof. Lenzi nella riunione del 6.10.2009 –
alla revisione dei criteri presenti nel documento di lavoro CUN
«Indicatori di attività scientifica e di ricerca» del
28.1.2009, come aggiornato al 17.9.2009.
La
predisposizione di adeguati criteri di valutazione si basa sulle seguenti
principali considerazioni:
–
si ritiene inapplicabile, cosí come attualmente si presenta,
l’Impact Factor (I.F.) quale strumento di valutazione della produzione
scientifica nell’ambito delle scienze umane e sociali. Com’è
noto l’I.F. è criticato da gran parte della comunità
scientifica, secondo quanto evidenziato, tra l’altro, da un recente
documento del Consiglio Universitario Nazionale (dicembre 2008), e il criterio
non è utilizzato anche in diversi settori delle scienze cosiddette dure
o esatte. Tale strumento, basato sulla presenza di citazioni in una lista di
riviste compilata da una società commerciale, risulta, in particolare,
inadeguato rispetto alle esigenze all’area umanistica e delle scienze
sociali sia per la tipologia degli studi prodotti sia perché essa non
dispone, per ora, di spogli sistematici né certificati (ma v. infra,sez.
C). Peraltro negli studi umanistici e sociali non ha significato scientifico
tanto la rapidità della diffusione delle pubblicazioni (uno dei criteri
adottati per il calcolo dell’Impact Factor nelle riviste ISI)
bensí la loro permanenza nel tempo;
–
analogo discorso può valere per le riviste ISI, il cui elenco non
riflette l’autentico valore e prestigio delle pubblicazioni periodiche
attualmente edite, risultando particolarmente carente proprio nei settori disciplinari
umanistici e delle scienze sociali;
–
non possono essere considerati i codici ISBN e ISSN come distintivo elemento
scientifico, in quanto istituiti per mere esigenze di distribuzione e
catalogazione.
B. – CRITERI PROPOSTI
I
criteri, che seguono, i quali vogliono costituire dei limiti minimi di
ammissione alla valutazione (senza entrare nel merito) si caratterizzano per
essere:
a) bottom-up, favorendo la
valutazione che proviene dalle comunità scientifiche dei diversi
settori, non strumenti imposti dal di fuori di esse;
b) modulati specificamente
sulle esigenze delle scienze umane e sociali (salve le possibili
disaggregazioni di cui supra, al punto Ab).
B.1 – CRITERI PER LA
QUALIFICAZIONE SCIENTIFICA DELLE RIVISTE
Ai
fini della valutazione di contributi (articoli, saggi, note, recensioni)
pubblicati in riviste, si terrà conto di:
a) Tradizione, diffusione nei
rispettivi ambiti disciplinari e puntualità d’uscita
b) Riconosciuta autorevolezza
del Direttore
c) Comitato scientifico e/o editoriale
autorevole e (quando coerente con lo statuto della disciplina) internazionale
d) Autorevolezza
dell’organizzazione scientifica che promuove/pubblica la rivista
e) Peer reviewing,
naturalmente attuato con procedure che garantiscano valutazioni motivate
f) Abstract e indici in due
lingue (quella del contributo piú un’altra, preferibilmente
l’inglese).
Per
le riviste on-line devono essere garantite, allo stesso modo che per le
cartacee, l’autorevolezza del profilo organizzativo (Direzione, Comitato
scientifico etc.) e le procedure di controllo (peer reviewing, abstracts,
indici).
CERTIFICAZIONE DELLE RIVISTE
Il
metodo, come anticipato, deve essere bottom-up:
–
il riconoscimento viene dalle comunità scientifiche;
–
procede per certificazione promossa e attuata dai Consorzi formati da tutte le
riviste di ciascun settore (del tipo di quello previsto nella riunione dei
direttori delle riviste romanistiche tenutasi presso il Consorzio Boulvert il
19.5.2009), riconosciuti dalle Società scientifiche nazionali dei
singoli settori, ove esistano, secondo procedure da esse definite.
B.2 – CRITERI PER LA
VALUTAZIONE DI VOLUMI MONOGRAFICI[1]
Premesso
che nelle scienze umane e sociali il volume monografico conserva la sua
importanza che mediamente è molto piú significativa di quella di
un articolo, si propone:
–
per le collane universitarie, di Enti di ricerca e di Accademie scientifiche,
replicare, in via di sperimentazione, il discorso relativo alle riviste per
quanto riguarda Direzione, Comitato scientifico e reviewing (e trasformare
l’abstract di cui al punto f in un ampio sommario in inglese, fornito di
indici);
–
per le altre collane, replicare, sempre in via di sperimentazione, gli stessi
punti, qualora la Casa editrice si avvalga di un’organizzazione
scientifica (Direzione etc.).
B.3 – CRITERI PER LA
VALUTAZIONE DI VOLUMI MISCELLANEI, DI ATTI DI ACCADEMIE E CONVEGNI E DI
ENCICLOPEDIE
Si
pone il problema di valutare anche articoli e saggi pubblicati in volumi
miscellanei e di Atti. Oggi in alcune esperienze tali contributi vengono
automaticamente considerati meno rilevanti rispetto a quelli usciti in riviste,
il che non sempre corrisponde alla valutazione della comunità
scientifica di appartenenza.
Anche
in tal caso si propone di utilizzare i criteri relativi alle riviste con gli
opportuni temperamenti (negli Atti, ad esempio, valutare se si sia trattato di
convegni internazionali e cosí via).
B.4 – CRITERI PER LA
VALUTAZIONE DI ALTRI PRODOTTI DELLA RICERCA
In
una concezione ampia della valutazione delle attività scientifiche nei
settori umanistici e delle scienze sociali (v. supra in Premessa) devono poter essere considerate tra le tipologie
di prodotti (ciascuna con un proprio peso) anche:
–
relazioni tenute a convegni internazionali
–
relazioni tenute a convegni nazionali
–
relazioni seminariali a invito
–
comunicazioni tenute a convegni internazionali
–
comunicazioni tenute a convegni nazionali
–
lezioni di dottorato (interne al proprio ateneo/esterne)
–
direzione di riviste e collane
–
partecipazione a comitati scientifici e editoriali
–
elaborazione e direzione di progetti di ricerca
–
attività di tutoraggio scientifico
–
cura di volumi
–
attività redazionale in riviste e collane.
C. – SPERIMENTAZIONE
DEI CRITERI DI VALUTAZIONE PROPOSTI
La
sperimentazione è suddivisa in due fasi: una iniziale (Fase 1) di medio periodo (2 anni) ed una
successiva (Fase 2) della durata di
circa 3 anni.
Fase 1
Scopo:
Il CNR, a partire dall’esperienza maturata nella Commissione Labruna, utilizza
la lista dei criteri qualitativi, non basati su I.F. o su indici bibliometrici,
già descritti supra nei punti
A e B, al fine di dotarsi di un sistema – una «via italiana»
– per la valutazione delle attività di ricerca negli ambiti
disciplinari delle scienze umane e sociali.
Tali
criteri verranno utilizzati per due scopi diversi:
–
il primo intende comunicare nelle sedi internazionali (per esempio, la European
Science Foundation) l’attività svolta in questo settore da parte
del CNR;
–
il secondo intende concretamente valutarne, in via sperimentale,
l’efficacia in alcuni settori disciplinari, prendendo come primo banco di
prova quello delle riviste del settore giuridico, dal momento che già
esiste in proposito un’interessante esperienza coordinata dal Consorzio
Interuniversitario Gérard Boulvert a Napoli.
Obiettivi della Fase 1:
–
Obiettivo 1: presentazione dei
criteri stabiliti alle Società scientifiche del settore per ricevere e
valutarne le reazioni, i suggerimenti, le integrazioni (procedura bottom-up).
Nessuna risorsa richiesta.
–
Obiettivo 2:lavoro di spoglio e
schedatura di periodici italiani del settore con attribuzione di un codice
corrispondente al grado di aderenza (nessuna, parziale, totale) ai criteri
stabiliti.
Risorse:
1 unità di personale per la schedatura e l’immissione dei dati.
Durata:
18 mesi uomo.
–
Obiettivo 3: predisposizione di una
base di dati nella quale i contributi
scientifici apparsi nelle
riviste schedate siano marcati con il codice
che caratterizza la tipologia
alla quale il periodico, ove il contributo compare,
appartiene.
Durata:
contemporanea ad Obiettivo 2, con la medesima risorsa umana.
–
Obiettivo 4: valutazione dei
risultati ed eventuale estensione dell’esperimento ad altri ambiti
disciplinari scelti a campione.
Durata: 6 mesi uomo.
Nota:
la modalità seguita è di tipo bottom-up e si presenta come
alternativa a quella sostanzialmente top down di ERIH (poiché i
valutatori dei panel non sono stati nominati dalla comunità scientifica
di appartenenza), che è fallita.
Fase 2
Scopo.
Estensione dell’applicazione dei criteri di valutazione, eventualmente
integrati, alle monografie ed inserimento del tema della valutazione dei
prodotti della ricerca nelle scienze umane e sociali nel piú vasto
ambito delle cosiddette Infrastrutture di Ricerca (RI). La prospettiva di
operare in funzione di RI per le Scienze umane e sociali, si allinea con
iniziative a livello internazionale (per es., l’ESFRI - European Strategy
for Research Infrastructures) che hanno lo scopo di costruire uno spazio
europeo per la ricerca (ERA) nel quale è indispensabile che siano ben
rappresentate anche le discipline umanistiche. Le infrastrutture di ricerca
forniscono un servizio a «comunità di ricercatori» per la
condivisione di strutture, dati, informazioni, ecc.
Obiettivi della Fase 2:
–
Obiettivo 1: accordo con le case
editrici di riviste e monografie per la digitalizzazione e l’utilizzo
on-line di alcune annate su cui effettuare gli esperimenti di cui al successivo
Obiettivo 2.
Durata:
6 mesi uomo. Nessuna risorsa richiesta.
–
Obiettivo 2: digitalizzazione
(immagini e testi) di un certo numero di annate anche di una sola rivista e
loro gestione mediante una applicazione web dedicata o disponibile nel CNR, con
eventuali adattamenti (per es. PKT - Pinakes Text di ILC-Pisa e Fondazione
Rinascimento Digitale-Firenze), dotata di controllo degli accessi per non
violare le norme del copyright. Il sistema di gestione dovrà consentire
l’inserimento di commenti, annotazioni, classificazioni di merito del
contributo scientifico.
Risorse:
una unità di personale con competenze bibliotecarie e biblioteconomiche
con particolare riferimento alle Scienze giuridiche.
Durata:
24 mesi uomo.
–
Obiettivo 3: costituzione di una vera
e propria biblioteca digitale validata dalla comunità per il solo fatto
che una determinata rivista vi si trova schedata e di essa se ne possono
leggere ed annotare i contributi. Gli strumenti computazionali del sistema di
gestione dell’archivio digitale dovranno:
–
rendere molto piú potenti e veloci le operazioni di ricerca
(ritrovamento di parole o di gruppi di parole);
–
rendere possibile, nel caso di testi classificati secondo determinati schemi
ontologici (ontologia di dominio) in linguaggio XML, il reperimento di tutti i
passi che trattano di un determinato tema.
Risorse:
una unità di personale con competenze informatiche correlate allo
sviluppo di applicazioni web con strumenti open source.
Durata:
24 mesi uomo.
–
Obiettivo 4: estensione della base
dati ad altri settori disciplinari umanistici.
Risorse:
6 mesi uomo.
Durata:
6 mesi.