Modalități de Măsurare a Cercetării

Sursă originală: https://www.cs.purdue.edu/homes/dec/essay.research.measure.html

Deși tinerii cercetători în domeniul informaticii sunt informați că trebuie să producă rezultate ale cercetării, nu sunt specificate cerințe exacte. În schimb, cercetătorilor li se oferă, de obicei, o încurajare vagă pentru a obține ceva “semnificativ” sau “au publicații de înaltă calitate” fără o explicație precisă a ceea ce înseamnă. 

Pentru un cercetător junior, se poate părea că există o conspirație în rândul persoanelor în vârstă – că au o metodă secretă de evaluare a cercetării, dar nu sunt dispuse să o dezvăluie. La urma urmei, este posibil să auziți o declarație vagă, cum ar fi: “cercetarea pur și simplu înseamnă acumularea de cunoștințe” sau mai puțin inteligentă: “Este greu de definit, dar știu o cercetare bună atunci când o văd”.

Motivul pentru care un membru al personalului inferior nu poate obține o explicație mai precisă despre modul de măsurare a cercetării este că nu există o singură explicație. În schimb, există o varietate de măsuri – fiecare grup tinde să utilizeze o măsură care maximizează obiectivele. Într-adevăr, cineva vrea să facă un punct în favoarea sau împotriva unei persoane, ei aleg o măsură care să ajute.

Dacă sunteți un cercetător junior, acest ghid este pentru dvs. Ea enumeră măsurile, explică fiecare și dă faptele reale. Cunoașterea listei vă va ajuta să impresionați pe ceilalți când vorbiți despre cercetare și vă va ajuta să evitați capcanele. 


Abordarea hârtiei în jurnal

(preferat de editorii de jurnal) 

Măsură: N, numărul total de lucrări publicate. 
Motivarea: Un cercetător care generează o idee nouă scrie o lucrare care este apoi revizuită de colegi și publicată într-un jurnal de arhivă. Astfel, numărul de lucrări este o măsură a productivității. 
Fapte reale: Standardele de publicare variază foarte mult, unele conferințe și jurnale acceptând toate observațiile, iar altele acceptând doar câteva. Mai important, aproape toate cercetările sunt inutile; nimeni nu citește documentele. (Un studiu estimează că, în medie, o lucrare de cercetare dată este citită de .5 persoane, numărul fiind înclinat în sus de câteva lucrări citite de mii). 
Avertismente: Deși invocă altfel, comisiile de mandat utilizează această măsură deoarece este mult mai ușor să conteze documente decât să evalueze meritele lor. Rețineți că persoanele cu păr gri sunt în mod deosebit îndrăgite de această măsură deoarece câștigă prin citarea – valoarea lor personală este mult mai mare decât cea a unui tânăr cercetător. Când utilizați această măsură, nu vă lăudați de coautor, deoarece creditul este redus atunci când o lucrare are mai mulți autori. 

Abordarea ritmului de publicare

(preferate de tineri cercetători) 

Măsura: N / T, raportul total al lucrărilor publicate până la momentul publicării. 
Motivarea: numărul de hârtie este insuficient deoarece nu măsoară productivitatea – dacă un cercetător publică 10 lucrări într-un an, este extrem de productiv, dar dacă publică 10 lucrări într-o viață, acestea sunt extrem de neproductive. 
Fapte reale: Rata de publicare a unui cercetător variază în timp; vârfurile reale apar chiar înainte ca un individ să fie luat în considerare pentru promovare, iar rata, de obicei, scade dramatic în anii anteriori pensionării. Astfel, ca un cercetător vechi, ei nu mai vorbesc despre N / T și se reîntorc la măsurarea N. Atenție: Comitetele de conducere se îngrijorează de oricine citează această măsură. În plus, fii realist – o grămadă de băieți cu părul brun nu te vor răsplăti pentru o rată înaltă când ei înșiși se confruntă cu o rată care a scăzut. 

Abordare ponderată a publicării

(preferată de agențiile de acreditare) 

Măsură: W, suma ponderilor atribuite lucrărilor publicate. 
Motivarea: Deoarece unele lucrări reprezintă o realizare mai intelectuală decât altele, fiecare hârtie ar trebui să aibă o greutate proporțională cu calitatea sa. În loc să numărați hârtii, ar trebui folosită suma greutăților. De exemplu, lucrările care nu sunt de cercetare pot avea o greutate zero sau aproape zero. 
Fapte reale: În loc să evalueze fiecare hârtie individuală, persoanele care utilizează această metodă atribuie fiecărui jurnal o greutate conform prestigiului său și apoi utilizează valoarea pentru orice hârtie care apare în jurnal. Bineînțeles, prestigiul unui jurnal variază de-a lungul timpului și nu există un jurnal în care toate lucrările să fie de o calitate uniformă, dar acest lucru nu pare să conteze. Frumusețea măsurii este că, dată fiind un set de publicații, se pot alege greutăți pentru a face lista să arate bine sau rău. 
Avertisment: Când discutați această măsură, amintiți-vă că alegerea greutăților este arbitrară și că, deși o persoană poate prezenta dovezi care să justifice alegerea lor, în cele din urmă toată lumea pare să favorizeze un set de greutate care oferă publicității personale un rang înalt. 

Milioane de abordări ale maimuțelor

(preferat de către agențiile guvernamentale de acordare) 

Măsură: G, suma totală a banilor contribuabililor distribuite pentru cercetare. 
Motivarea: Având în vedere un timp suficient de lung, un set aleatoriu de cercetători care se lovesc de tastaturi va scrie în cele din urmă o lucrare despre ceva care va aduce beneficii țării. Pentru a stimula mai mulți cercetători să producă mai multe lucrări, guvernul colectează propuneri și dă bani celui mai bun procent “.Deci, dând mai mulți bani va stimula, prin urmare, mai multe lucrări, ceea ce va spori beneficiul țării 
Fapte reale: Sistemul de granturi este mai aproape de o loterie decât un beneficiu național. Pentru a se asigura că totul este “egal”, agențiile guvernamentale urmează adesea o agendă politică, ceea ce înseamnă că probabilitatea obținerii unui grant poate depinde de factori precum dimensiunea instituției, localizarea geografică, rasa și genul. în cazurile extreme, un solicitant va primi o scrisoare prin care să-i informeze că a fost selectat pentru o subvenție, dar trebuie să-și revizuiască propunerea deoarece conținutul științific este inacceptabil 
Atenție: Nu o luați personal într-un fel sau altul – o subvenție guvernamentală nu înseamnă neapărat că aveți o idee grozavă și nici negarea unui grant guvernamental înseamnă că ideea nu are valoare. 

Abordare directă de finanțare

(preferate de șefii departamentelor) 

Măsura: D, totalul fondurilor nerambursabile obținute de un cercetător. 
Motivarea: Cercetătorii cărora li se acordă granturi pentru cercetare trebuie să aibă idei bune (sau agenția care le acordă nu ar fi acordat banii). Astfel, mai mulți bani trebuie să însemne mai multe idei. 
Fapte reale: Șefii departamentelor sunt interesați doar să impresioneze decanii și șefii departamentelor la alte instituții – le place să se laude pentru suma totală de fonduri nerambursabile aduse de toți membrii departamentului lor. Din nefericire, suma fondurilor nerambursabile care pot fi colectate depinde mai mult de suma disponibilă decât de calitatea cercetării propuse. Guvernele dau mai mult atunci când cuferele lor se revarsă (sau atunci când au ceva avantaj politic); industria oferă mult mai mult atunci când profiturile sunt mari (sau când pot obține o scutire de taxe). 
Atenție: Din nou, nu citește prea mult în granturi – indiferent de cine spune, suma banilor pe care îi primești (puțin sau mult) nu este întotdeauna proporțională cu calitatea ideilor tale. 

Metoda de finanțare indirectă

(preferate de administratorii universității) 

Măsură: O, totalul de dolari generați. 
Motivarea: atunci când unui cercetător i se acordă un dolar N din banii guvernamentali, 1/3 din acesta este desemnat drept “cost indirect” sau “overhead”, care plătește pentru spații de birouri, electricitate și contabili din cheltuielile acordate. Overhead este o măsură a volumului cercetătorului la instituție. 
Fapte reale: Spațiul de birouri este necesar cu sau fără un grant, iar instituțiile mari de cercetare au deja proceduri și sisteme de contabilitate. Astfel, costurile indirecte sunt doar o modalitate pentru instituție de a scoate banii din fondurile de cercetare. 
Avertizare: Dotările pentru echipamente sunt scutite de costurile indirecte, deci nu te lauda unui administrator cu privire la un grant de echipament mare – nu vor fi impresionați. De asemenea, rețineți că costul indirect este generat atunci când sunt cheltuite banii, nu când este acordat. Astfel, dacă cheltuiești bani în ianuarie, în loc de decembrie, cheltuielile vor fi incluse în noul an și nu vechiul. 

Abordarea liniei de fund

(preferată de laboratoarele de cercetare industrială) 

Măsură: P, profitul generat de brevetele sau produsele care rezultă din cercetare. 
Motivarea: O industrie creează un laborator de cercetare în beneficiul unităților de afaceri, nu doar ca o modalitate de a cheltui profituri excesive. Astfel, în lumea industrială, este logic să se măsoare cercetarea prin modul în care aceasta ajută linia de jos. 
Fapte reale: Aproape nici o cercetare nu are nici un efect real asupra profiturilor companiei. Chiar dacă o idee de cercetare se transformă într-un produs, venitul generat depinde mult mai mult de marketing decât de calitatea ideii fundamentale (există chiar unele dovezi ale unei relații inverse între calitatea produsului și profit). 
Avertizare: Venitul este o măsură teribilă a calității cercetării, deoarece ideile stupide sau triviale generează adesea cel mai mare profit; nu presupuneți că o idee are merite științifice doar pentru că face bani și nu presupune altfel dacă nu. 

Evaluarea abordării impactului

(preferată de mână de cercetători care realizează de fapt ceva)

Măsura: I / R, Raportul impactului lucrării asupra cantității de resurse utilizate pentru generarea ei. 
Motivarea: “Impactul%” al cercetării pe teren oferă o măsură generală bună a valorii. S-ar putea pune întrebări cum ar fi: Lucrarea a afectat ceilalți? Sau Este lucrarea citată și utilizată? Cu toate acestea, pentru a face comparația corectă nu poate compara cercetarea efectuată de o echipă de douăzeci și patru de cercetători care lucrează la un mare laborator industrial folosind echipamente care costă zece milioane de dolari pentru cercetarea efectuată de o persoană care lucrează la sfârșit de săptămână fără personal. impactul asupra resurselor 
Fapte reale: Atât impactul, cât și resursele sunt greu de măsurat. Mai important, este regretabil faptul că% quot; știință mare“ , de multe ori pare să aibă un impact mai mare , pur și simplu deoarece generează mai multă publicitate. 
Atenție: . Rețineți că , deși această măsură este cel mai corect, este nepopular Administratorii displace măsura , deoarece cantitatea de de finanțare – elementul pe care doresc să-l sublinieze – apare în numitor, ceea ce înseamnă că un cercetător care atinge un impact dat cu fonduri de granturi mai puține primește o evaluare mai mare în cadrul acestei măsuri! Majoritatea cercetătorilor nu dispun de măsură, de asemenea, – este mult mai ușor să obțineți finanțare decât să obțineți rezultate care au un impact real. 


Concluzie

Dacă cercetarea dvs. nu arată bine în cadrul măsurii în vigoare, poate că este timpul să schimbați măsura!