O privire analitică asupra evaluărilor PCE

“Science knows no country, because knowledge belongs to humanity, and is the torch which illuminates the world.”  Louis Pasteur

Modul în care se efectuează evaluarea proiectelor în competițiile pentru granturile în cercetare este una din oglinziile modului în care funcționează un sistem de cercetare. În limita aceluiași buget, a acelorași reguli pentru evaluarea proiectelor, modul în care e aleasă mulțimea evaluatorilor poate modifica esențial distribuirea banilor și proiectele de cercetare câștigătoare.

În România există două culturi sau tabere, care se diferențiază prin modul în care se raportează la ceea ce înțeleg prin „cercetare națională”. Am pus în ghilimele termenul „cercetare națională” pentru că o tabară, să o numim a internaționalilor, consideră că nu există cercetare națională ci doar instituții naționale ( universițati, institute etc.) care primesc finanțare de la un anumit stat pentru a pune în practică un anumit program de cercetare. Cercetarea în sine este pentru aceștia un bun internațional, adică produsul muncii lor este destinat „pieței” internaționale a cercetării. O paralelă care poate fi facută este aceea a unei piețe economice internaționale. A doua tabără, pe care am dori să o denumim natională, consideră că fiecare stat are o cercetare națională, iar aceste cercetări naționale interacționează între ele la nivel internațional, și fiecare stat este dator să „subvenționeze” și să „adapteze” programele de cercetare la nivelul și specificitățiile locale.

Unul dintre palierele la care se exprimă diferențele dintre aceste culturi este modul în care sunt selecționați evaluatorii în programele de cercetare. Tabăra internațională este adepta unei evaluari total independente și ca expresie a acestei dorințe a fost introducerea cerinței ca majoritatea evaluatorilor să nu activeze în Romania (vezi art. 1, pct. 8 din HG 133/2011). Cealaltă tabără tinde să-și impună propria agenda și dorește apelarea la experți internaționali doar în cazul în care nu sunt identificați experți naționali (vezi art. 3 din Actul Adițional 10/2017 dintre MCI și UEFISCDI). Există multe argumente de fiecare parte, dar ceea ce este foarte important este faptul că cele două tabere reprezintă două culturi care sunt exclusive, una protecționistă și una adeptă a liberalismului cercetării. Prin urmare, nu poate exista un punct de echilibru între cele două tabere ci  asistăm permanent la un proces de pendulare intre cele două culturi. Dovadă în acest sens stau modificările legislative repetate, care contribuie la lipsa predictibilității în sistemul românesc de cercetare. Spre exemplu, prevederile HG 133/2011 de mai sus au fost abrogate de HG 1244/2012, iar ulterior ele au suferit modificări în funcție de viziunea miniștrilor sau seceretarilor de stat care s-au succedat la cârma cercetării românești (sau consiliilor consultative din subordinea acestora, constituite vremelnic, la fel ca și mandatul demnitarilor). E important de mentionat că noi, autorii acestui articol, suntem adepții culturii liberale a cercetării.

În acest context am ales sa efectuăm o analiza a evaluatorilor folosiți pentru competiția Proiecte de Cercetare Exploratorie (PCE), parte a Planului Național de Cercetare-Dezvoltare-Inovare 2014-2020 (PNCDI III), un program stindard al cercetării fundamentale de excelență din România (printr-o comparație mult forțată PCE sunt echivalentul românesc al ERC Consolidator Grants la nivelul UE). În analiza noastră am extras H-index-ul tuturor evaluatoriilor din Scopus  și l-am reprezentat in Figurile 1 și 2  în funcție de principalul domeniu în care activează. Au fost identificati aproximativ 80% dintre evaluatori (adică 429), suficienți în opinia noastră pentru ca această analiză sa fie reprezentativă pentru competiția PCE. De asemenea, am extras H-index-ul și pentru un subset dintre câștigătorii competițiilor. Ceea ce se poate observa  în Figurile 3 și 4 este că in domeniile   Biologie-Economie  și Chimie (alese  aleatoriu) H-index-ul potențialilor evaluatori este deasupra H-index-ului caștigătorilor de proiecte. Din acest punct de vedere, considerăm că evaluarea la PCE este un exemplu de bună practică în domeniu. Desigur, baza de date a evaluatorilor internaționali folosiți trebuie în continuare îmbunătățită nu doar calitativ, ci și în sensul acoperirii unei game cât mai largi de domenii dar mai ales subdomenii, proiectele de acest tip fiind foarte nișate (de aici și denumirea de cercetare de frontieră) și necesitând implicit expertiză de nișă.

În contextul în care aceste evaluări ar fi restrânse la a folosi doar evaluatori români considerăm că s-ar pierde din calitatea evaluării ( având în vedere că in medie cercetătorii câștigători ai granturilor au un H-index mai mic decât al evaluatorilor străini). În plus, nici unul din domeniile de cercetare din România nu este suficient de mare pentru a avea o masă critică de cercetatori care să permita un proces de evaluare în care să se urmărească cu atenție lipsa oricăror conflicte de interese.

Considerăm că MCI/UEFISCDI/agențiile finanțatoare n-ar trebui să se oprească la a publica doar lista evaluatorilor ( publicarea acestor liste fiind stipulată prin lege) ci și a unor analize cât mai detaliate referitoare la distribuția unor indecși precum H-index-ul directorului de proiect în cazul proiectelor depuse, proiectelor câștigătoare, evaluatorilor, defalcate pe domenii. Sperăm ca în viitorul apropiat să fie publicate și aceste tipuri de analize la încheierea procesului de evaluare.

În contextul analizei de mai sus așteptăm cu interes publicarea listelor cu evaluatorii folosiți de MCI în 2017, urmând ca în baza H-index-ului acestora să compatăm relevanța lor științifică în plan internațional cu cea a celor folosiți în 2016. Considerăm că această comparație este necesară pentru a evalua impactul pe care îl are decizia MCI de a renunța de facto (cererea de finanțare fiind depusă în limba română), începând cu acest an, la folosirea experților internaționali pentru evaluarea proiectelor de cercetare din cadrul PNCDI.