Dezastrul lăsat în urmă de cei doi miniștri ai cercetării din 2017, despre care a vorbit atât Ad Astra cât și fostul președinte al ANCSI din guvernul tehnocrat, are câteva „cireșe de pe tort”. Una dintre acestea este competiția Proiecte de dezvoltare instituțională – Proiecte Complexe realizate în consorţii CDI (PCCDI), cu un buget de 435 milioane lei, atacată în instanță în prezent, dar cu contractele de finanțare semnate.
Anul 2017 a marcat pecetluirea utilizării evaluatorilor români în competițiile de proiecte de cercetare naționale. Experților internaționali li s-a dat un grațios ultim șut în fund; am vorbit despre asta aici, între timp proiectul de hotărâre de guvern transformându-se în HG.
Așadar, cei 435 milioane lei alocați competiției PCCDI au fost alocați folosind doar evaluatori „independenți” cu afiliere la instituții din România. Recent, UEFISCDI a publicat lista evaluatorilor folosiți, accesibilă aici.
Problemele cu această competiție colcăie. În primul rând remarcăm că, în contractele pe care evaluatorii le semnează cu UEFISCDI, conflictul de interese este definit în mod diferit pentru competiții care fac parte din același Pilon 1 al PNCDI 3. Astfel, pentru competițiile de tip Postdoctorat (PD) și Tinere Echipe (TE) evaluatorilor li se cerea să confirme că „nu sunt implicat în această competiţie în calitate de Director de proiect sau membru al echipei de implementare”, în timp ce pentru PCCDI formularea a fost: „în cazul în care am depus propuneri de proiecte în calitatea de coordonator proiect/responsabil partener sau de membru echipă de cercetare în prezenta competiţie, nu voi evalua proiecte în domeniul propunerilor de proiecte depuse”. Menționăm că formularea în cazul proiectelor PD și TE respectă bunele practici la nivel internațional pentru evaluarea de proiecte de cercetare.
Astfel, în cazul competiției PCCDI au existat câștigători de proiect care au fost în același timp și evaluatori (vezi Ionelia Taranu, Mihai Varlam, Gabriela Prelipcean și Radu Aurelian), respectiv soție evaluatoare cu soț câștigător (vezi Vergil Muraru și Muraru-Ionel Cornelia). Toți aceștia ar fi fost in conflict de interese în oricare altă competiție (TE, PD sau cele organizate de UEFISCDI în trecut) în afară de aceasta.
Au mai existat și aplicanți care, chiar dacă proiectele lor nu au intrat la finanțare, au fost în același timp și evaluatori: Avram Marioara, Cernica Ileana, Copolovici Lucian, Costin Hariton-Nicolae, Gaman George Artur, Hadaruga Nicoleta Gabriela, Ionete Roxana Elena, Lazau Carmen, Nicolae Doina Nicoleta, Ozunu Alexandru, Pintilie Ioana, Popescu Florin, Radulescu Constanta Zoie, Polosan Silviu, Topala Ionut, Vizman Daniel.
Accentuăm că această relaxare a criteriilor este un derapaj grav de la etica cercetării. Noi, semnatarii articolului, considerăm că toți cei care au acceptat să fie simultan de ambele părți ale baricadei s-au afundat cu bună știință în mocirla creată de minister, prin faptul că au profitat de lipsa unor bariere impuse oriunde în afară de această competiție.
Ne întrebăm ce a determinat Ministerul Cercetării și Inovării (MCI) să schimbe regulile jocului pentru competiția PCCDI, restul contractului de evaluator rămânând la fel cu modelul utilizat în competițiile precedente?! Nu putem să nu speculăm că e vorba de interese în alocarea discreționară a banului public, folosind o garnitură de evaluatori „fideli”, care trebuiau cumva curățați de conflictele de interese.
Competiția de proiecte PCCDI a fost structurată pe șapte domenii. Din lista integrată a evaluatorilor folosiți mai sus nu avem cum să ne dăm seama în ce domeniu au evaluat aceștia. Prin urmare ni se va putea reproșa faptul că au fost evitate conflictele de interese prin prisma participării lor în alte domenii decât cele la care ei au câștigat/participat.
Dacă ni se va reproșa acest lucru noi vom întreba: cum poate un cercetător, cu expertiza pe care o are, să participe în competiție pe unul din cele șapte domenii, dar să aibă suficientă expertiză să evalueze într-un altul? De exemplu, cum poate un cercetător să aplice pe domeniul „Sănătate”, unde consideră că are cea mai bună expertiză și prin urmare șansele cele mai bune de a câștiga competiția, dar să evalueze pe domeniul „Bioeconomie”, sau poate „Patrimoniu și identitate culturală”?
Răspunsul este simplu, din punctul nostru de vedere: poate evalua într-un al doilea domeniu, dar este clar că în acel domeniu nu excelează, alții fiind mai buni ca el, domeniul fiindu-i unul conex, nu principal, în activitatea de cercetare. Și uite așa Ministerul Cercetării și Inovării, persistând în încăpățânarea de a folosi doar evaluatori români, a scăzut drastic calitatea procesului de evaluare și al corpului de evaluatori în general. Aceasta a facilitat apariția mișmașurilor balcanice în evaluare, lucru reliefat de numărul mare de contestații (117 în Etapa 1 și 56 în Etapa 2; au fost depuse 380 de proiecte în total) și de plângerile primite de Asociația Ad Astra privind gravele conflicte de interese în evaluare.
Pentru a proba calitatea mult scăzută a evaluatorilor naționali folosiți în competiția PCCDI comparativ cu a celor internaționali, folosiți pentru ultima dată în cadrul competiției PCE (Proiecte de Cercetare Exploratorie), am calculat media și mediana indicilor H ai primilor 100, în ordine alfabetică.
Rezultat comparativ ai indicilor H pentru evaluatorii PCCDI vs PCE (conform Scopus):
Media: 7,11 vs 21,69
Mediana: 5 vs 21
Am analizat de unde provin cei 354 de evaluatori utilizați în competiția PCCDI și am constatat că sunt afiliați la 111 entități CDI din România. Dintre acestea, 84 au participat în competiție fie în postura de coordonator, fie în postura de partener. Imaginați-vă acum conflictul de interese în care au fost evaluatorii de la aceste instituții când proiectele au fost discutate în ședințele de panel, aici ajungând inevitabil și cele de la instituția lor gazdă.
În privința celorlalte 27 de instituții care se presupune că au furnizat evaluatori independenți, adică instituția de la care provin nu a participat în competiție, vă lăsăm pe dvs. să decideți. Printre acestea se numără: Academia Oamenilor de Știință din România, Beia Consult International S.R.L., Bioing S.A., Dfr Systems S.R.L., Ecologicplus Expert Srl, Electra Total Consulting S.A., Unitatea Militara 02583, Universitatea Creștină „Partium”, Varspeed Hydro Srl etc. Lista completă aici.
Diferențele calitative ale evaluatorilor PCCDI vs PCE, alături de conflictele de interes inevitabile, subliniază o dată în plus necesitate utilizării evaluatorilor internaționali pentru proiectele naționale de cercetare. În caz contrar riscăm să ne afundăm în nămolul izolării, consangvinizării și deconectării de comunitatea internațională, cercetarea fiind prin excelență fără granițe. Cum spunea Louis Pasteur: “Science knows no country, because knowledge belongs to humanity, and is the torch which illuminates the world.” Din păcate ecourile acestei afirmații nu reverberează în camerele întunecate ale clădirii gri de pe Str. Mendeleev nr. 21-25, București, sediul Ministerului Cercetării și Inovării.
Ce reverberează în schimb sunt îndemnurile reprezentanților mediocrității din cercetarea românească: „noi nu ne vindem țara” evaluatorilor internaționali, bani mai mulți pentru sugativa numită Program Nucleu, bani alocați discreționar în domenii „strategice”, știm noi cine sunt cei mai buni, ce atâta evaluare… și lista poate continua.
Își mai amintește cineva, sau a auzit măcar cineva de îndemnul la boicotarea evaluării proiectelor de cercetare până la reintroducerea evaluatorilor internaționali? S-a scris despre asta și în Science și Nature. Sau poate cele două reviste nu sunt de circulație prin spațiul mioritic… Sau media scăzută a indicilor H, se explică prin acest boicot?! Nu credem. Vedem în lista de evaluatori folosiți în competiția PCCDI nume „grele” din cercetarea autohtonă, și ne mâhnește acest lucru, inclusiv colegi din Asociația Ad Astra, promotoarea boicotului. Din punctul nostru de vedere, participarea lor în procesul de evaluare girează noile practici ale MCI și sunt responsabili, alături de MCI, de deriva în care se află cercetarea românească.
Revenind la competiția PCCDI, putem spune că cele 435 de milioane de lei urmează să fie cheltuite pe proiecte a căror valoare este mai mult decât discutabilă (ca întotdeauna vor fi și excepții). Putem chiar specula că fondurile au fost direcționate spre „cine trebuie”. Cum putem altfel explica faptul că bugetul competiției a fost suplimentat în ultimul moment, bugetele câștigătorilor inițiali diminuate cu aprox. 30% și termenele de execuție modificate? Dacă punem acest lucru și în context, adică faptul că nu au fost încă finanțate proiecte din competiții naționale care trebuiau finalizate în 2016 sau în prima jumătate a anului 2017 (vezi PCCF – Proiecte Comlexe de Cercetare de Fronietă, PD și TE), competiția PCCDI a fost lansată în luna august, după o dezbatere publică a pachetului de informații de 3 zile, iar bugetul acestei competiții este mai mult decât dublul celor 3 competiții cumulate (435 vs 170 milioane lei), emerge o imagine a intereselor din jurul prezentei competiții.
Chiar și în instanța de judecată, MCI a evitat discutarea pe fond a problemelor de nelegalitate ridicate de Asociația Ad Astra în privința lansării competiției PCCDI, preferând să prelungească soluționarea cazului prin invocarea lipsei calității procesuale a reclamantei. Ne întrebăm ce se va întâmpla dacă soluția dată de Înalta Curte de Justiție și Casație va fi favorabilă reclamantei, iar competiția va fi anulată? Cum va recupera MCI banii publici distribuiți prin contractele deja semnate? Cum vor fi cei responsabili trași la răspundere?
Decidenții politici trebuie să înțeleagă că un principiu de bază în alocarea banilor în cercetare este competiția, iar proiectele trebuie evaluate conform bunelor practici din domeniu (obligatoriu cu evaluatori străini), transparența trebuind să guverneze întregul proces. În caz contrar va plana tot timpul suspiciunea alocării discreționare a fondurilor, iar numărul acțiunilor în instanță va crește. Remarcăm în acest sens dublarea bugetului pentru categoria „Cheltuieli de judecată” a MCI pentru anul în curs, comparativ cu 2017.
Felicitari pentru articol! Personal am avut un proiect in evaluare la TE. Proiectul a fost respins. Nu ma deranjeaza in sine acest fapt, cu conditia ca evaluarea sa fie facuta corect. Motivele respingerii mele m-au facut sa ma gandesc daca proiectul meu a fost evaluat de o comisie priceputa in domeniul respectiv. Mi-am facut cruce cand mi-au scris ca o tehnologie utilizata in productie, despre care vorbeam in proiect, nu este fezabila pentru productie :)) As fi fost curios sa vad daca proiectele de tip ingineresc au fost evaluate de o comisie formata din geografi, istorici sau filosofi?
Mulțumim, Raul. Ai făcut contestație? Pentru TE și PD evaluatorii trebuiau să îndeplinească niște criterii minime de vizibilitate internațională. Adică să fi publicat patru articole ca autor principal în Q1 (zonă roșie) sau Q2 (zonă galbenă), în tematica proiectului. Noi am adresat o scrisoare deschisă CNCS în care solicitam să clarifice pentru opinia publică modul în care s-a făcut validarea experților evaluatori. Mai precis, modul în care CNCS s-a asigurat că aceștia îndeplinesc criteriul minim de vizibilitate internațională. Niciun răspuns deocamdată …
Foarte bun articolul, cu toate ca, din punctul meu de vedere, contine o eroare referitoare la gradul de competenta al cercetatorilor, in general, al evaluatorilor, in context.
Astfel, in era in care poti lucra la un calculator la MIT, Oxford, sau Amarastii din Dos, avand la dispozitie referinte bibliografice de pretutindeni (evident, relativ), singurul lucru care conteaza pentru mine este competenta intr-un anumit domeniu, masurata, cel putin actual, prin indicele H.
Aici am o precizare importanta de facut. Ordinea fireasca a indicelui H, in opinia mea, este: 1) ISI Web of Knowledge/science, 2) Scopus, 3) Google Scholar (“prietenii stiu de ce”). Deci, indiferent daca esti locat in Romania sau aiurea, acesta ar trebui sa fie singurul mode de evaluare a competentei (i.e., vizibilitate internationala prin citari).
In articol nu se specifica despre ce h-index este vorba. Ar fi fost cazul, in plus, precizandu-se toti cei trei de mai sus.
In rest, s-auzim numai de bine!
Florin
P.S. Ca sa nu existe discutii despre autorul acestor randuri, vedeti link-ul de mai jos:
https://sites.google.com/site/floringorunescu/
Mulțumim. Am introdus sursa utilizată pentru calcularea H-index. Suntem de acord că Web of Science (mai nou Clarivate Analytics) ar trebui să fie sursa principală pentru calcularea H-index, dar pentru scopul nostru, de a face o comparație între cele două categorii de evaluatori credem că și Scopus este util. Astfel, ne-am limitat doar la a remarca o scădere calitativă (scientometric vorbind) a evaluatorilor, per ansamblu, în cazul competiției PCCDI comparativ cu PCE. Desigur, calitatea lor putea fi evaluată și mai bine folosind Cralivate. Probabil că atunci am fi avut, de exemplu, o medie de 5 vs 15, dar raportul de 1 : 3 s-ar fi păstrat.
Abia ce Ministerul Învățământului în evaluarea cercetării din universități a scos Scopus. A ridicat, în schimb, la valoare de ISI, ceva care numai bază de date relevantă nu se poate numi – ERIH.
Corect.
“Sugativa” numita Program Nucleu ?!? … mai corect “gaura neagra” Program Nucleu … ca de ani buni intra bani frumosi in “gaura” si nu iese nimic …
Ba da, ceva totusi reuseste sa “evadeze” din “gaura” : rapoarte anuale din care rezulta cum ca s-au facut zeci de tehnologii, sute de articole & prezentari conferinte , simpozioane congrese …
Este mai dificil de raspuns la intrebarea: Puteti prezenta o firma care aplica vreo tehnologie obtinuta in PN ?!!?
Prin INCDuri se zvoneste ca in 2018 se vor da la PN de 2-3 ori mai multi bani decat in 2017 !
Intr-un comunicat din luna dec.2017:
<>
Ce vrajeala ieftina …. “aspect grav resimtit de tinerii cercetatori” …. La INCDul unde lucrez, la fiecare predare pleca la MCI si un tabel cu personalul pontat in faza respectiva (cei mai multi trecuti de-a-n boulea!), centralizator cu salariul si … CNP. Deci la MCI sunt centralizate date legate de virsta cercetatorilor pontati pe PN!
Ar fi interesant ca MCI sa prezinte o statistica cu virsta medie a celor platiti pe PN in 2017 ! Personal estimez media pe toate INCDurile beneficiare PN undeva in jurul virstei de … 50 ani ! Tineri domnule ! Sunt tinar ! Nu conteaza cat de lung am parul ….
Intr-un comunicat din luna dec.2017:
Ministrul Lucian Georgescu a obtinut PROROGAREA termenului pentru Programul Nucleu:
La initiativa ministrului Lucian Georgescu, Guvernul a aprobat în sedinta de miercuri 20 decembrie, Ordonanta de Urgenta privind prorogarea termenului de 31 decembrie 2017 pentru Programul Nucleu.
……………..
Se evita astfel lipsa unei predictibilitati si a unei continuitati în implementarea politicilor publice. Aspect grav resimtit de tinerii cercetatori, de liderii de echipe de cercetare, a caror reactie imediata este de salvare prin plecarea din institute, din sistemul de cercetare si nu în ultima instanta din România.
Dimineață (14 feb) publicăm un nou articol, axat pe Programul Nucleu, cum este evaluat, cum se tot prorogă termenul etc. Atingem inclusiv problema ridicată de tine aici, cu gogoșile vândute de MCI.
Articolul este excelent, numai ca problemele semnalate exista in RO de cand au luat amploare proiectele interne si internat. Deci probleme veche, si ce se vede acum e faptul ca e o practica ultraaplicata ; singura diferenta este ca acum au unii curaj si o scot la suprafata. Stiti ff bine cum e si cu articolele publicate in RO, in reviste proprii, pt a se denumi conferentiari si profesori.
Consider ca o comisie internat, fie in cercetare, sau proiecte aoplicate, sau mediul academic, ar spulbera tot, up side down. Eu cred ca nu se mai poate face nimic, de nimeni. Situatia este numai talk show