Seconda-pagina1[ISSN 1825-0300]

 

N. 9 – 2010 – D-&-Innovazione

 

 

Criteri per la valutazione della ricerca nel campo delle scienze umane e sociali (C.N.R.)

 

Premessa

 

Il presente documento è frutto dei lavori svolti negli incontri di un gruppo di esperti sui criteri di valutazione delle attività di ricerca in campo umanistico tenuti a Roma, nella Sede centrale del CNR il 6.10 (adunanza plenaria), 26.10 (gruppo di lavoro ristretto), 11.11 (adunanza plenaria) e 15.12.2009 (adunanza plenaria), su invito del Consiglio Scientifico Generale del CNR, sotto la presidenza del prof. Luigi Labruna.

Esso analizza (Sezioni A e B) la situazione relativa alla valutazione dei prodotti della ricerca negli ambiti disciplinari delle scienze umane e sociali (monografie, saggi, articoli etc.), nonché dell’alta divulgazione scientifica negli stessi campi, considerando opportuno che di questa abbiano titolo a fare parte anche gli strumenti di tipo manualistico utilizzati per la formazione a livello accademico. Si propongono requisiti minimi dei prodotti valutabili, ai fini delle ricognizioni che possano costituire uno strumento di lavoro accettato e riconosciuto dalla comunità scientifica per l’ammissione alle valutazioni comparative (salva, ovviamente, l’indipendenza di giudizio e la responsabilità delle Commissioni), per l’anagrafe della ricerca, per i finanziamenti nelle diverse sedi (FFO, PRIN, finanziamenti regionali, progetti europei), per la concessione degli scatti retributivi biennali dei docenti (l. 1/2009), e per le attività dell’ANVUR in sede di valutazione qualitativa delle Università.

In una seconda parte (Sezione C) si presenta, in forma di un progetto per la sperimentazione dei criteri stabiliti e descritti nella prima parte, una modalità di valutazione tecnologicamente innovativa. Essa, infatti, si basa sugli attuali sviluppi del Web 2 che valorizza la dimensione sociale e collaborativa la quale è (o dovrebbe essere) tipica di una determinata comunità. Fanno parte di questa nuova visione del Web almeno 3 componenti, tutte interessanti per i ricercatori delle Scienze Umane e Sociali: il documento (il contributo scientifico, l’articolo, la monografia), l’interpretazione (la recensione, eventualmente classificata secondo una scala di apprezzamento) e l’intersoggettività (il dibattito fra ‘pari’). Tutti questi elementi entrano in gioco nel progetto descritto ai fini di un nuovo metodo di produzione e valutazione del sapere.

 

A. – CONSIDERAZIONI PRELIMINARI

 

Considerate le caratteristiche della ricerca nei settori umanistici e delle scienze sociali e della relativa valutazione, si sono rilevate

 

a) la possibilità e la necessità della valutazione stessa;

b) l’esigenza di un’organizzazione per quanto possibile omogenea dei criteri di valutazione della produzione scientifica in tali ambiti, riconoscendo però le specificità dei settori attraverso eventuali disaggregazioni dei criteri;

c) la finalità di garantire – attraverso tale valutazione – oggettività e trasparenza nell’attività di promozione della ricerca e nel reclutamento degli studiosi;

d) la necessità di valutare la produzione scientifica sotto il profilo qualitativo e non (solo) quantitativo, contribuendo cosí – facendo seguito alla dichiarazione del Presidente prof. Lenzi nella riunione del 6.10.2009 – alla revisione dei criteri presenti nel documento di lavoro CUN «Indicatori di attività scientifica e di ricerca» del 28.1.2009, come aggiornato al 17.9.2009.

 

La predisposizione di adeguati criteri di valutazione si basa sulle seguenti principali considerazioni:

 

– si ritiene inapplicabile, cosí come attualmente si presenta, l’Impact Factor (I.F.) quale strumento di valutazione della produzione scientifica nell’ambito delle scienze umane e sociali. Com’è noto l’I.F. è criticato da gran parte della comunità scientifica, secondo quanto evidenziato, tra l’altro, da un recente documento del Consiglio Universitario Nazionale (dicembre 2008), e il criterio non è utilizzato anche in diversi settori delle scienze cosiddette dure o esatte. Tale strumento, basato sulla presenza di citazioni in una lista di riviste compilata da una società commerciale, risulta, in particolare, inadeguato rispetto alle esigenze all’area umanistica e delle scienze sociali sia per la tipologia degli studi prodotti sia perché essa non dispone, per ora, di spogli sistematici né certificati (ma v. infra,sez. C). Peraltro negli studi umanistici e sociali non ha significato scientifico tanto la rapidità della diffusione delle pubblicazioni (uno dei criteri adottati per il calcolo dell’Impact Factor nelle riviste ISI) bensí la loro permanenza nel tempo;

– analogo discorso può valere per le riviste ISI, il cui elenco non riflette l’autentico valore e prestigio delle pubblicazioni periodiche attualmente edite, risultando particolarmente carente proprio nei settori disciplinari umanistici e delle scienze sociali;

– non possono essere considerati i codici ISBN e ISSN come distintivo elemento scientifico, in quanto istituiti per mere esigenze di distribuzione e catalogazione.

 

B. – CRITERI PROPOSTI

 

I criteri, che seguono, i quali vogliono costituire dei limiti minimi di ammissione alla valutazione (senza entrare nel merito) si caratterizzano per essere:

 

a) bottom-up, favorendo la valutazione che proviene dalle comunità scientifiche dei diversi settori, non strumenti imposti dal di fuori di esse;

 

b) modulati specificamente sulle esigenze delle scienze umane e sociali (salve le possibili disaggregazioni di cui supra, al punto Ab).

 

B.1 – CRITERI PER LA QUALIFICAZIONE SCIENTIFICA DELLE RIVISTE

 

Ai fini della valutazione di contributi (articoli, saggi, note, recensioni) pubblicati in riviste, si terrà conto di:

 

a) Tradizione, diffusione nei rispettivi ambiti disciplinari e puntualità d’uscita

b) Riconosciuta autorevolezza del Direttore

c) Comitato scientifico e/o editoriale autorevole e (quando coerente con lo statuto della disciplina) internazionale

d) Autorevolezza dell’organizzazione scientifica che promuove/pubblica la rivista

e) Peer reviewing, naturalmente attuato con procedure che garantiscano valutazioni motivate

f) Abstract e indici in due lingue (quella del contributo piú un’altra, preferibilmente l’inglese).

 

Per le riviste on-line devono essere garantite, allo stesso modo che per le cartacee, l’autorevolezza del profilo organizzativo (Direzione, Comitato scientifico etc.) e le procedure di controllo (peer reviewing, abstracts, indici).

 

CERTIFICAZIONE DELLE RIVISTE

 

Il metodo, come anticipato, deve essere bottom-up:

 

– il riconoscimento viene dalle comunità scientifiche;

– procede per certificazione promossa e attuata dai Consorzi formati da tutte le riviste di ciascun settore (del tipo di quello previsto nella riunione dei direttori delle riviste romanistiche tenutasi presso il Consorzio Boulvert il 19.5.2009), riconosciuti dalle Società scientifiche nazionali dei singoli settori, ove esistano, secondo procedure da esse definite.

 

B.2 – CRITERI PER LA VALUTAZIONE DI VOLUMI MONOGRAFICI[1]

 

Premesso che nelle scienze umane e sociali il volume monografico conserva la sua importanza che mediamente è molto piú significativa di quella di un articolo, si propone:

 

– per le collane universitarie, di Enti di ricerca e di Accademie scientifiche, replicare, in via di sperimentazione, il discorso relativo alle riviste per quanto riguarda Direzione, Comitato scientifico e reviewing (e trasformare l’abstract di cui al punto f in un ampio sommario in inglese, fornito di indici);

 

– per le altre collane, replicare, sempre in via di sperimentazione, gli stessi punti, qualora la Casa editrice si avvalga di un’organizzazione scientifica (Direzione etc.).

 

B.3 – CRITERI PER LA VALUTAZIONE DI VOLUMI MISCELLANEI, DI ATTI DI ACCADEMIE E CONVEGNI E DI ENCICLOPEDIE

 

Si pone il problema di valutare anche articoli e saggi pubblicati in volumi miscellanei e di Atti. Oggi in alcune esperienze tali contributi vengono automaticamente considerati meno rilevanti rispetto a quelli usciti in riviste, il che non sempre corrisponde alla valutazione della comunità scientifica di appartenenza.

Anche in tal caso si propone di utilizzare i criteri relativi alle riviste con gli opportuni temperamenti (negli Atti, ad esempio, valutare se si sia trattato di convegni internazionali e cosí via).

 

B.4 – CRITERI PER LA VALUTAZIONE DI ALTRI PRODOTTI DELLA RICERCA

 

In una concezione ampia della valutazione delle attività scientifiche nei settori umanistici e delle scienze sociali (v. supra in Premessa) devono poter essere considerate tra le tipologie di prodotti (ciascuna con un proprio peso) anche:

 

– relazioni tenute a convegni internazionali

– relazioni tenute a convegni nazionali

– relazioni seminariali a invito

– comunicazioni tenute a convegni internazionali

– comunicazioni tenute a convegni nazionali

– lezioni di dottorato (interne al proprio ateneo/esterne)

– direzione di riviste e collane

– partecipazione a comitati scientifici e editoriali

– elaborazione e direzione di progetti di ricerca

– attività di tutoraggio scientifico

– cura di volumi

– attività redazionale in riviste e collane.

 

C. – SPERIMENTAZIONE DEI CRITERI DI VALUTAZIONE PROPOSTI

 

La sperimentazione è suddivisa in due fasi: una iniziale (Fase 1) di medio periodo (2 anni) ed una successiva (Fase 2) della durata di circa 3 anni.

 

Fase 1

 

Scopo: Il CNR, a partire dall’esperienza maturata nella Commissione Labruna, utilizza la lista dei criteri qualitativi, non basati su I.F. o su indici bibliometrici, già descritti supra nei punti A e B, al fine di dotarsi di un sistema – una «via italiana» – per la valutazione delle attività di ricerca negli ambiti disciplinari delle scienze umane e sociali.

Tali criteri verranno utilizzati per due scopi diversi:

– il primo intende comunicare nelle sedi internazionali (per esempio, la European Science Foundation) l’attività svolta in questo settore da parte del CNR;

– il secondo intende concretamente valutarne, in via sperimentale, l’efficacia in alcuni settori disciplinari, prendendo come primo banco di prova quello delle riviste del settore giuridico, dal momento che già esiste in proposito un’interessante esperienza coordinata dal Consorzio Interuniversitario Gérard Boulvert a Napoli.

 

Obiettivi della Fase 1:

 

Obiettivo 1: presentazione dei criteri stabiliti alle Società scientifiche del settore per ricevere e valutarne le reazioni, i suggerimenti, le integrazioni (procedura bottom-up).

Nessuna risorsa richiesta.

 

Obiettivo 2:lavoro di spoglio e schedatura di periodici italiani del settore con attribuzione di un codice corrispondente al grado di aderenza (nessuna, parziale, totale) ai criteri stabiliti.

Risorse: 1 unità di personale per la schedatura e l’immissione dei dati.

Durata: 18 mesi uomo.

 

Obiettivo 3: predisposizione di una base di dati nella quale i contributi

scientifici apparsi nelle riviste schedate siano marcati con il codice

che caratterizza la tipologia alla quale il periodico, ove il contributo compare,

appartiene.

Durata: contemporanea ad Obiettivo 2, con la medesima risorsa umana.

 

Obiettivo 4: valutazione dei risultati ed eventuale estensione dell’esperimento ad altri ambiti disciplinari scelti a campione.

Durata: 6 mesi uomo.

 

Nota: la modalità seguita è di tipo bottom-up e si presenta come alternativa a quella sostanzialmente top down di ERIH (poiché i valutatori dei panel non sono stati nominati dalla comunità scientifica di appartenenza), che è fallita.

 

Fase 2

 

Scopo. Estensione dell’applicazione dei criteri di valutazione, eventualmente integrati, alle monografie ed inserimento del tema della valutazione dei prodotti della ricerca nelle scienze umane e sociali nel piú vasto ambito delle cosiddette Infrastrutture di Ricerca (RI). La prospettiva di operare in funzione di RI per le Scienze umane e sociali, si allinea con iniziative a livello internazionale (per es., l’ESFRI - European Strategy for Research Infrastructures) che hanno lo scopo di costruire uno spazio europeo per la ricerca (ERA) nel quale è indispensabile che siano ben rappresentate anche le discipline umanistiche. Le infrastrutture di ricerca forniscono un servizio a «comunità di ricercatori» per la condivisione di strutture, dati, informazioni, ecc.

 

Obiettivi della Fase 2:

 

Obiettivo 1: accordo con le case editrici di riviste e monografie per la digitalizzazione e l’utilizzo on-line di alcune annate su cui effettuare gli esperimenti di cui al successivo Obiettivo 2.

Durata: 6 mesi uomo. Nessuna risorsa richiesta.

 

Obiettivo 2: digitalizzazione (immagini e testi) di un certo numero di annate anche di una sola rivista e loro gestione mediante una applicazione web dedicata o disponibile nel CNR, con eventuali adattamenti (per es. PKT - Pinakes Text di ILC-Pisa e Fondazione Rinascimento Digitale-Firenze), dotata di controllo degli accessi per non violare le norme del copyright. Il sistema di gestione dovrà consentire l’inserimento di commenti, annotazioni, classificazioni di merito del contributo scientifico.

Risorse: una unità di personale con competenze bibliotecarie e biblioteconomiche con particolare riferimento alle Scienze giuridiche.

Durata: 24 mesi uomo.

 

Obiettivo 3: costituzione di una vera e propria biblioteca digitale validata dalla comunità per il solo fatto che una determinata rivista vi si trova schedata e di essa se ne possono leggere ed annotare i contributi. Gli strumenti computazionali del sistema di gestione dell’archivio digitale dovranno:

 

– rendere molto piú potenti e veloci le operazioni di ricerca (ritrovamento di parole o di gruppi di parole);

– rendere possibile, nel caso di testi classificati secondo determinati schemi ontologici (ontologia di dominio) in linguaggio XML, il reperimento di tutti i passi che trattano di un determinato tema.

Risorse: una unità di personale con competenze informatiche correlate allo sviluppo di applicazioni web con strumenti open source.

Durata: 24 mesi uomo.

 

– Obiettivo 4: estensione della base dati ad altri settori disciplinari umanistici.

Risorse: 6 mesi uomo.

Durata: 6 mesi.

 

 



 

[1] N.B. Con riguardo ai criteri per la valutazione, si considerano lavori monografici le edizioni critiche e le traduzioni (tenendo conto della specificità dei settori scientifico-disciplinari). Ai fini della valutazione degli studiosi attivi sono da prendere in considerazione anche i manuali scientifici. Ai fini concorsuali si considera pubblicazione (monografica) quanto stabilito a norma di legge (d.lgs. 660/1945).