La risposta dell'ANVUR ai commenti sui criteri di valutazione

In un modo che è sostanzialmente apprezzabile e simile a quanto è successo in Inghilterra per il RAE, l'ANVUR ha effettivamente raccolto pareri sulla sua prima bozza dei criteri di valutazione (di cui avevo parlato qui), ed ha pubblicato un documento di risposta circostanziato. Il documento contiene anche delle proposte di modifica per rispondere ad alcune delle critiche.

Una modifica ragionevole che va nella direzione di riconoscere che ci possono essere diverse strategie di pubblicazione è quella che riguarda i tre indicatori bibliometrici: nella versione precedente il numero di pubblicazioni superiore alla mediana del settore era dominante sugli altri due, mentre ora si propone semplicemente di avere valori superiori in almeno due (qualsiasi) degli indicatori. In questo modo chi pubblica poco ma bene può non avere molti articoli, ma saranno ben citati e daranno luogo ad un buon h-index.

Si sfiorano poi gli usuali problemi relativi all'authorship sia in generale che con le specificità del settore biomedico: conteggio frazionale, valore del primo ed ultimo autore, ecc. Non si propongono soluzioni stabili se non l'osservazione dei pattern di pubblicazione nei singoli SSD per evitare che quelli con caratteristiche sostanzialmente diverse dal resto dell'area siano avvantaggiati o svantaggiati. Nel caso del primo/ultimo autore (in Medicina: autore principale e coordinatore, con autori interni a scalare in importanza) sono d'accordo che è complesso tenerne conto. Le riviste più rigorose in realtà hanno risolto il problema di stabilire il contributo dei singoli autori richiedendo una dichiarazione, in calce all'articolo, che descrive i contributi di ogni firmatario al lavoro complessivo. Situazione questa ancora meno computabile, ma che potrebbe servire alla commissione per valutare nella sostanza gli articoli presentati.

Più delicata la situazione di comunità scientifiche sociologicamente differenziate che convivono nello stesso SSD (dando luogo a distribuzioni multimodali): l'ANVUR prevede che possa essere attivata una procedura di riconoscimento, volta a calcolare le mediane sulle singole popolazioni. Si porrà comunque il problema di comunità tanto specializzate da essere statisticamente poco rilevanti. Quelle comunità potrebbero essere vasi di coccio che si occupano di ricerca apparentemente marginale, ma con la ricerca non si sa mai: spingere alla conversione verso temi più alla moda (perché questo succederebbe) potrebbe costare caro nel lungo termine.

Riguardo i database bibliografici, c'è apertura verso proposte ulteriori in aggiunta ai due soliti ISI e Scopus, il che potrebbe servire per aree scientifiche mal servite dai due grandi. Per l'occasione ho ripreso in mano il software Publish or Perish, che utilizza Google Scholar, e pare che abbia implementato qualche algoritmo un po' più taffinato per selezionare gli articoli. Col mio "delicato" cognome infatti avevo valori piuttosto sballati, ora il mio H-index risulterebbe un più ragionevole 13, compreso tra l'11 di ISI ed il 14 di Scopus (a proposito: io come dovrei presentarmi? Scelgo io? Sceglie la commissione? In modo uniforme oppure caso per caso?).

Riguardo la qualità delle riviste incluse nei due principali database, per fortuna c'è anche Scopus, perché in passato sono stati più volte sollevati dubbi sui criteri di inclusione (non trasparenti) usati da ISI. Anni fa il database era molto orientato verso pubblicazioni statunitensi (es. Seglen PO), che oltretutto ospitano autori statunitensi che si citano (preferibilmente) tra di loro. Ora con Scopus c'è una corsa a chi fa meglio, tanto di guadagnato per tutti.

Non ho competenza per discutere i punti relativi alle aree umanistiche, anche se sono certo che le osservazioni nel punto 3.9 (alcune condivisibili) susciteranno un po' di fastidio. Tuttavia non sono convintissimo  della distinzione a priori tra nazionale ed internazionale, anche perché "internazionale" pare significare "in inglese", che è una scelta in qualche modo criticabile. Sarebbe preferibile che la distinzione tra "buono" e "meno buono" fosse fatta anch'essa in base a qualche criterio oggettivo (idealmente l'equivalente di impact factor o meglio: eigenfactor o SJR?).

Mercoledì 07 Settembre 2011 at 12:26 pm | | riCercare, vdm

Nessun commento

Emoticons

Questa domanda serve per prevenire commenti spam da parte di programmi (chiedo scusa per l'imbecillit della cosa).
 

Mantenere le informazioni personali?
Nascondi email
Note: Tutti i tag HTML eccetto <b> e <i> saranno rimossi dal commento. Puoi inserire link semplicemente scrivendo l'url o l'indirizzo di e-mail.