Měření dopadových faktorů neodráží míry citování článku

3. Měření napětí a proudu (Duben 2019).

Anonim

Metriky na úrovni časopisu, které jsou mezi nimi nejčastější faktorem vnímání deníku (JIF), neodrážejí náležitý dopad nebo vliv jednotlivých článků - věc, kterou opakovaně opakují bibliometři, redaktoři časopisů a správci výzkumu. Přesto se mnoho výzkumníků a panelů pro hodnocení výzkumu nadále spoléhá na tento nesprávný podíl výzkumu - a výzkumného pracovníka - na kvalitu informací o financování, přijímání a podpoře rozhodnutí.

V silné podpoře pro odstranění tohoto zavlečeného zvyku se setkalo sedm zástupců žurnalistů a dva nezávislí výzkumní pracovníci - včetně tří autorů tohoto příspěvku - s cílem přidat hlas k rostoucí opozici vůči časopisům na úrovni časopisů jako měřítku vědecké hodnoty jednotlivce. Výsledkem je společný článek z Université de Montréal, Imperial College London, PLOS, eLife, časopis EMBO, Královská společnost, příroda a věda, zveřejněný tento týden na BioRxivu. Pomocí rozmanitého výběru našich vlastních časopisů poskytujeme údaje, které ilustrují, proč žádný článek nelze posuzovat na základě faktoru dopadu časopisu, ve kterém je publikován.

V článku jsou uvedeny četnostní diagramy - citační rozdělení - z 11 časopisů (včetně PLOS Biologie, PLOS Genetics a PLOS ONE), jejichž rozsah je v Impakt faktoru menší než tři až více než 30 (analýza pokrývá stejné období jako výpočet dopadu faktoru 2015.) Přes rozdíly v činnostech dopadu jsou podobnosti mezi distribucemi nápadné: všechny rozložení jsou vlevo skloněné (většina článků s méně citacemi, než je uvedeno v JIF) a rozkládá se několik řádů. Nejdůležitějším zjištěním je však podstatné překrývání rozdělení časopisů. V podstatě mohou mít dva články publikované v časopisech s velmi rozdílnými faktory dopadu stejný počet citací.

Sdílejte a sdílejte podobně

Zveřejněním těchto údajů doufáme, že posílíme výzvu k jednání, kterou původně vyjádřil Stephen Curry, jeden z autorů, a povzbudit další časopisy, aby následovaly. V duchu tohoto výzvy uvádíme níže uvedené grafy pro všech sedm časopisů PLOS (viz obr. 1). Netřeba dodávat, že nejsou žádné překvapení. Navzdory velmi rozdílným hlasitostem vykazují všechny distribuce značný zkos vlevo (nízké citace) s dlouhou ocasí rozšiřující se vpravo (vysoké citace) - vzorek zakrytý použitím JIF.

Nezpochybňujeme, že mezi jednotlivými časopisy existují rozdíly, které odrážejí různé typy článků, redakční kritéria, rozsah a objem každé publikace. Tyto účinky jsou pozoruhodné, například při zvažování PLOS ONE - kde jsou články vybrány na základě toho, že jsou spíše technicky spolehlivé a robustně uváděny, než na vnímaný dopad nebo obecný zájem. Taková kritéria umožňují publikování malých studií nebo studií s negativními, nulovými nebo nejednoznačnými výsledky, které by mohly získat mnoho citací, ale jsou rozhodující pro zmírnění předpojatosti publikace. Rozsah časopisu zahrnuje disciplíny s různými citačními zvyklostmi a specializovanými oblastmi výzkumu i společenských věd, kde citace jsou obvykle nižší. Protože objem publikace není uměle omezen, tyto faktory poskytují vysvětlení pro relativně vyšší počet článků s malými nebo nulovými citacemi (podobné vysvětlení může představovat rozdělení citací ve vědeckých zprávách). To neznamená, že PLOS ONE (nebo vědecké zprávy) nezveřejňuje mnoho vysoce citovaných článků. Naopak, studie z roku 2013 naznačuje, že společnost PLOS ONE publikuje v literatuře svůj spravedlivý podíl z nejlepších citovaných článků (v poměru k počtu publikovaných článků). V distribucích v roce 2015 je objem papírů tvořících vysoko citlivý ocas distribuce PLOS ONE opět značný.

Vliv vlivu

To, co motivuje naši iniciativu k zvyšování povědomí, je skutečnost, že i přes výzvy naopak, JIF zůstává převážným nástrojem při hodnocení vědců. Často jde o pohodlí, nedostatek času a vhodných alternativ, ale je to také otázka kultury. Zneužívání faktoru dopadů se stalo institucionalizováno v metodách hodnocení výzkumu mnoha univerzit a národních hodnotících panelů, což vedlo k zvrácenému motivačnímu systému.

Pro vědecké pracovníky je kariérní postup a dobrá pověst "zaměřeného vysoko" při výběru časopisu příliš velká na to, aby byla ignorována, a to i tehdy, když je důsledkem toho, že postupujeme směrem dolů po žebříčku Impact Factor krok za krokem, odmítnutí po zamítnutí. Tento sekvenční model podávání nejenže ohrožuje redaktory časopisů a recenzentů, ale také způsobuje zbytečné a nepřijatelné zpoždění při poskytování výsledků širší vědecké komunitě a veřejnosti. Horší jsou příběhy výzkumníků, kteří se cítí nuceni změnit svůj experimentální nebo analytický přístup, aby rukopis přitahoval jeden časopis nebo jiný. Hluboké důsledky se projevují jinými způsoby - silným odrazováním od provádění rizikových a zdlouhavých výzkumných programů, zveřejňování negativních výsledků nebo prosazování multidisciplinárního výzkumu. Poskytují také silný motiv k zaplavení polí, která jsou již přeplněná a upevňují hyperkonkurenční systém, který stále více znevýhodňuje absolventy studentů a výzkumníky na ranní kariéře.

Akce v procesu

Neexistuje únik ze skutečnosti, že papír lze správně vyhodnotit pouze jeho čtením. Existují však nástroje, které pomáhají filtrování vědecké literatury o dosahu a dopadu, které článek může mít, a nikoliv pouze v rámci odborné vědecké komunity. Několik platforem nabízí metriky na úrovni článku, včetně vlastní služby ALM společnosti PLOS, která poskytuje citace a další ukazatele čtenářů a sociální pozornosti. Otevřený zdrojový software Lagotto, který napájí PLOS ALMs, je základem pro sledování událostí společnosti Crossref, který zachycuje celou řadu činností spojených s jakýmkoli identifikátorem digitálních objektů, včetně datových sad.

Žádná metrika však nemůže přesně odrážet různorodý dopad různých výstupů výzkumu (jak je jasně uvedeno ve zprávě Metric Tide a Leiden Manifestu pro výzkumné metriky). Nakonec vědecká komunita potřebuje lepší způsob, jak zachytit a sdělit hodnocení platnosti, spolehlivosti, významu a kvality, ke kterým dochází v průběhu času, kdy se odborníci hlouběji zapojí do výsledků svých kolegů a staví na nich.

Potřebujeme také podrobnější a robustnější způsoby popisování a přidělování kreditů nesčetným různým příspěvkům jednotlivých vědců k článkům, datům, softwaru, výzkumným projektům, vzájemnému hodnocení a mentorům. K tomuto cíli začínají PLOS a jiní vydavatelé vyžadovat, aby autoři zaregistrovali ID ORCID a zaváděli taxonomii CRediT, aby rozpoznali jednotlivé příspěvky autorů k článku. V EU Science Europe právě vydala zprávu o tom, jak vyhodnotit multidisciplinární výzkum, který obsahuje doporučení pro financující subjekty, aby vyhodnotily žadatele o řadě výstupů spíše než o publikaci.

To jsou všechny vítané kroky, ale v konečném důsledku se kultura pouze změní, když instituce odpovědné za dohled nad hodnocením výzkumných pracovníků a těch, kteří tvoří hodnotící skupiny, přijmou aktivní kroky ke změně způsobu hodnocení vědců.

Zatím je jasná zpráva redaktorů časopisů a vydavatelů, která ukazují jejich rozdělení citací: vybíráme a publikujeme různé články, které přitahují širokou škálu citací, a žádný článek nemůže být dostatečně posuzován podle jediné hodnoty faktoru dopadu časopisu v který je publikován.

menu
menu