Câteva comentarii declanșate de un articol din Contributors despre o competiție de proiecte de cercetare:

Relevanța scorului relativ de influență în evaluările scientometrice

Alegerea unui indicator scientometric, de exemplu pentru definirea standardelor minimale, trebuie să asigure un echilibru între fidelitatea cu care acel indicator măsoară calitatea unei publicații (ceea ce poate duce la formule complicate), pe de o parte, respectiv ușurința calculului și verificării indicatorului, pe de altă parte.

În calculul factorului de impact, orice citare are o pondere egală, indiferent dacă provine dintr-o revistă foarte bună sau dintr-o revistă obscură. Astfel, o revistă care este foarte citată de reviste foarte slabe poate să aibă un factor de impact egal cu o revistă la fel de mult citată de reviste foarte bune. Dacă acceptăm că revistele științifice au, în medie, nivele diferite de calitate, atunci este preferabil ca și ponderile citărilor să reflecte cel puțin calitatea revistei care citează, dacă nu calitatea articolului. Scorul de influență al articolelor (article influence score, AIS) este un indicator care face această ponderare a citărilor. AIS este ușor de obținut, fiind furnizat în cadrul Journal Citation Report, de fostul ISI, actualmente Clarivate Analytics.

Când s-a introdus AIS în evaluările din România, în 2011, unii cercetători au reclamat faptul că unele domenii ar fi defavorizate de AIS. Într-adevăr, numărul tipic de citări al unei publicații variază semnificativ între domenii, de exemplu publicațiile biomedicale sunt mult mai citate decât cele din matematică, ceea ce se reflectă în mulți indicatori, inclusiv factorul de impact sau AIS. Pentru a putea stabili standarde minimale bazate pe AIS care să fie aceleași indiferent de domeniu, este de dorit să existe o normalizare la domeniu a valorilor folosite. Această normalizare este asigurată de scorul relativ de influență.

Standarde minimale vs. evaluare colegială

Definirea standardelor minimale pentru o competiție de proiecte de cercetare nu implică faptul că orice persoană care atinge standardele minimale merită să devină director de proiect. Presupunând că standardul minimal corespunde unui absolvent de doctorat mediocru, standardul minimal asigură doar o filtrare grosieră a propunerilor care provin de la cercetători care sunt sub acest nivel. De aceea, standardul este minimal. Alegerea directorilor de proiecte trebuie să se asigure prin evaluare colegială (peer review), nu prin simpla depășire a unor standarde minimale scientometrice. Aceste standarde minimale trebuie să asigure doar faptul că procesul de evaluare nu este sufocat de prea multe propuneri irelevante, care ar risipi timpul evaluatorilor, ar necesita mai mulți evaluatori și deci ar scădea calitatea medie a evaluatorilor care pot fi implicați, ar genera costuri suplimentare deoarece evaluatorii sunt plătiți și ar prelungi durata evaluării; dar, pe de altă parte, standardele minimale trebuie să asigure o competiție serioasă între proiecte și faptul că principalul factor care contează pentru selecție este evaluarea colegială, nu standardul minimal. Datorită diferențelor între performanța diverselor domenii în România, un standard minimal identic pentru toate domeniile poate părea jos, de exemplu, pentru fizică (un domeniu relativ performant în România) dar același poate fi considerat înalt în alte domenii. Este însă just ca standardul minimal să fie, pe cât posibil, același pentru toate domeniile.