П`ятниця, 23.06.2017, 07:56
Вітаю Вас Гість

WEB-КАФЕДРА ПРАВА

СЕРГІЯ ОВЕРЧУКА

ЮРИДИЧНИЙ ДАЙДЖЕСТ. НОВИНИ ПРАВА, НАУКИ ТА ОСВІТИ

Головна » Юридичні новини » НОВИНИ ОСВІТИ, НАУКИ

Інструментарій оцінки наукової діяльності вчених і організацій: наукометричний мінімум
Інструментарій оцінки наукової діяльності вчених і організацій: 
наукометричний мінімум

Наукометричних показників для оцінки праці вчених і організацій існує величезна безліч, і багато які з них дуже спокушають простотою підрахунку. Однак корисним використання таких індикаторів може бути лише при дотриманні низки принципових умов. З них і почнемо. 

1. Необхідно враховувати обмеження баз даних, за якими ведеться підрахунок.

Це насамперед географічне, мовне та тематичне охоплення, строгість відбору, облік різних типів джерел, якість індексації (наявність задвоєння, пропусків і т.д.). 

2. Необхідно враховувати відмінності в практиках публікації і цитування, характерних для тих наук, представників яких ви збираєтеся порівнювати.

І середня довжина списку літератури, і середній вік позицій в ньому в статтях з математики кардинально відрізняються від тих же в молекулярної біології. Пушкіністи публікуються російською мовою просто тому, що саме на ньому говорить більшість професіоналів у цій галузі. У Computer Science основний канал поширення нового знання і отримання визнання колег - доповіді на міжнародних конференціях, а не статті в журналах. В області права цінуються коментарі до законів. І цей перелік особливостей можна продовжувати дуже довго. 

3. Не можна оцінювати по одному «чарівному» індикатору.

Попросту кажучи, наука - занадто складна штука. У нас в розпорядженні безліч різних «кривих дзеркал», які набагато краще використовувати в комплексі. Нові хіршеподобние індикатори з'являються в середньому раз на два тижні, але уваги на них вже ніхто з професіоналів не звертає. 

4. Наукометрія завжди гірше повноцінної експертизи, проведеної провідними фахівцями з оцінюваної тематиці.

Фахівці повинні бути не тільки провідними, а й позбавленими конфлікту інтересів. Часто говорять, що в Росії таке неможливо, іноземців залучати занадто складно і т.д. Наш досвід взаємодії з представниками провідних світових наукових центрів це спростовує. До того ж гуру research evaluation хором вчать нас: всюди, де тільки вистачає сил і засобів, використовуйте живих експертів, доповнюючи, а не підміняючи їх оцінки різноманітними релевантними наукометричними індикаторами. 

5. Потрібно заздалегідь ретельно оцінювати ефекти від впровадження наукометрії в управління.

Наприклад, якщо ви посилено вважаєте і стимулюєте публікації в середніх журналах, не дивуйтеся, що частка статей в топових у вас зменшиться. Перевірено Австралією в середині 1990-х. Там тоді діяла примітивна система, коли вузу, по суті, платили за кожну статтю в Web of Science незалежно від рівня журналу. Число статей зросла, але середній рівень журналів відчутно впав (http://dx.doi.org/10.1016/S0048-7333(02)00007-0). Є шанс, що років через п'ять це засвоять іу нас. 

Приклад з Австралією узятий з Лейденського маніфесту про індикатори науки, опублікованого в цьому році в Nature (http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351). Цей маніфест (набір принципів зразок викладених вище) я гаряче рекомендую всім і з радістю зробив би обов'язковим читанням для всіх наукових менеджерів, починаючи з рівня заступник декана по науці і закінчуючи президентом. Маніфест складено ключовими світовими експертами по research evaluation і визнаний усім наукометричним співтовариством.

 

Зараз про самі показники. 

Кількість публікацій: звичайний і часткової підрахунок 

Звичайно, найпростіше оцінити результативність наукової діяльності вченого або організації за кількістю опублікованих робіт. Але все не так просто, як здається, адже у статті може бути багато авторів, а у кожного автора багато афіліацій. Найпростіше використовувати так званий звичайний підрахунок (whole, або total counting). Написав автор статті в поодинці або в співавторстві з двадцятьма колегами - це все одно одна публікація в його статистиці. Те ж саме вірно для організацій і країн: якщо організація (країна) хоча б раз вказана в списку місць роботи авторів статті, ця публікація вважається цілком належить їй і всім іншим організаціям / країнам співавторів, всі отримають за неї по одному очку. Такий підрахунок легко призводить до перекосів. Скажімо, в статті дев'ять співавторів з економічного факультету, а десятий працює на економфаку і факультеті комп'ютерних наук. Обидва факультету отримають по 1 очку, що, очевидно, не цілком відображає їх відносний внесок. 

Рішення полягає в використанні пайової підрахунку (fractional counting). При такому підрахунку вся стаття «стоїть» 1 очко, яке ділиться порівну між співавторами, а якщо у співавтора кілька афіліацій, то його частка ділиться порівну між ними. У наведеному вище прикладі економфак отримає 19/20, а ФКУ - 1/20. Пайовий підрахунок застосовується як для самих публікацій, так і для отриманих ними цитувань, де розбіжності зі звичайним підрахунком можуть бути ще більш драматичними. Наш відділ рахує публікації мегафакультетів і кампусів Вишки обома способами. 

Зараз до fractional counting під тиском прогресивної громадськості придивляються комерційні рейтинги THE і QS, а єдиний шановний наукометристами Лейденський рейтинг вже щосили застосовує його. Свій варіант часткового підрахунку розробило і впроваджує Міністерства освіти та науки РФ. Правда, вийшло дуже неоднозначно: очки за публікацію будуть ділитися тільки між російськими афіліаціями, а іноземні враховуватися не будуть. Тому стаття, де два учасника - з МГУ і ВШЕ, принесе цим вузам по 0,5 очка, а стаття, де дев'ять авторів з Гарварда, а десятий працює в Гарварді, Стенфорді і МГУ, принесе нашому вишу повноцінне очко. Як результат, вузи і НДІ вже зараз думають над заходами щодо скорочення числа зовнішніх російських співавторів в своїх статтях. Системні наслідки будуть дуже серйозними. 

Звичайний підрахунок добре працює в соціально-гуманітарних дисциплінах і математики, де велика частка статей, написаних одним автором, а при роботі з публікаціями з природничих дисциплін краще застосовувати часткової підрахунок, бо тут велика кількість статей написано в співавторстві. Очевидно, що всередині кожної дисципліни також є відмінності. Наприклад, у фізиці найбільшу кількість співавторів у експериментаторів в області високих енергій і часток. Коректний бібліометрична аналіз повинен враховувати ці особливості. Є варіанти fractional counting, що враховують роль автора в списку співавторів (corresponding, перший, останній). 

Кількість цитувань 

Оцінка діяльності вчених на підставі одного лише сумарного числа публікацій здатна завдати великої шкоди науці, особливо якщо використовується як ключовий KPI. З того, що сильні вчені публікують багато робіт, абсолютно не випливає, що будь-який автор, який опублікував багато робіт, вніс серйозний вклад в науку. Одна стаття в Nature може коштувати тисячі статей в журналі умовного третього квартиля по Scopus, але іноді і на статті в Nature ніхто не посилається. Тому при оцінці наукової діяльності прийнято спиратися на показники, засновані на сумарній кількості посилань (цитувань) на публікації даного вченого, підрозділи або організації. При цьому зазвичай жорстко фіксують два тимчасових періоди: вікно публікації (інтервал, протягом якого вийшли оцінювані статті) і вікно цитування (інтервал, протягом якого вийшли ті статті, посилання на які будуть враховуватися). Найчастіше використовують публікаційного вікно в п'ять років і збігається з ним вікно цитування. Для зростаючих форм, де знання швидко застаріває (нанотехнології, біомедицина), часовий інтервал може бути і менше п'яти років, а в тих областях, де старіння знання відбувається порівняно довго (чиста математика, Антична або ботаніка), обидва вікна можуть бути збільшені.

Завжди корисно дивитися на число цитувань з виключеним самоцитування, благо і Scopus, і Web of Science, і РИНЦ надають таку можливість. Вага посилань теж має значення. Коли на вашу статтю в «Економічній журналі ВШЕ» послався нобелівський лауреат в American Economic Review, це не зовсім те, що посилання з журналу «Економіст».

Для порівняння вчених з різних областей необхідно використовувати нормалізовану цитованість (field-weighted citation impact), що враховує середню цитованість публікацій даного року виходу даного типу (огляди цитуються частіше статей) в даній тематиці.

Мабуть, навіть більш коректний і робасний підхід для порівняння представників різних наук полягає у використанні top10% індикаторів - числа і частки публікацій, що потрапляють у верхні 10% найбільш цитованих в своїй області за даний рік. 

Оцінка за рівнем журналів 

Методики, засновані на цитованості, мають серйозний недолік: треба чекати хоча б кілька років, поки ці цитування встигнуть накопичитися. Для менеджерів це неприйнятно, тому все більшого поширення набуває оцінка за рівнем журналу, в якому опублікована стаття, тобто, по суті, оцінка очікуваної цитованості. Тут теж правильніше використовувати відносні метрики, перш за все факт потрапляння журналу в топ-10% найбільш цитованих в своїй області за імпакт-фактору або SNIP (див. Першу частину статті: http://okna.hse.ru/news/160270181.html ). Є стаття в журналі, що входить в топ-10% по імпакт-фактору WoS. Значить, вона напевно пройшла суворе рецензування і буде широко читатися. А ось квартили Scopus варто використовувати вкрай обережно (див. Mañana-Rodríguez, J. A critical review of SCImago Journal & Country Rank. Research Evaluation. 2014. http://doi.org/10.1093/reseval/rvu008). 

Не можна не згадати, що Сан-Францісская декларація по оцінці досліджень, DORA (http://www.ascb.org/dora/), говорить: не використовуйте рівень журналу для оцінки конкретної публікації і її автора. Її підписали 592 організації - від редакцій Science і PNAS, Інституту Говарда Хьюза і провідних американських і європейських наукових товариств до Харківського педагогічного університету. Ми не підписали. 

Популярна нині оцінка за сукупним імпакт-фактору (сумі значень ІФ окремих статей, рівних ІФ опублікували їх журналів) для порівняння представників різних дисциплін не годиться: занадто великі відмінності в середній цитованості. Із застереженнями її допустимо використовувати хіба що для оцінки дуже схожих за тематикою досліджень організацій однакових розмірів. 

H-індекс, g-індекс, m-індекс 

Ну ось ми і підійшли до чарівної цифри, що дарує ілюзію розуміння тисячам наукових керівників. H-індекс був запропонований фізиком-теоретиком з Каліфорнійського університету в Сан-Дієго Хорхе Хірш. Цей показник покликаний дати комплексну оцінку одночасно числу публікацій і їх цитованості (тобто кількістю і якістю). Крім того, методика підрахунку індексу Хірша навмисно уникає визначення середніх величин, середньої цитованості статей.

Індекс Хірша масиву публікацій (вченого, організації, країни) дорівнює h, якщо є h статей з цього масиву, кожна з яких отримала не менше h цитувань. Тому для високого індексу потрібно мати багато статей, кожна з яких цитувалася багато разів. Дуже важливо враховувати, що h-індекс в інтерфейсі WoS включає самоцитування.

Для вчених часто розраховують «довічний» індекс Хірша за всю наукову кар'єру, як це було зроблено Х. Хиршем у вихідній статті, проте це призводить до очевидного нерівності літніх і молодих фахівців. Справа в тому, що такий показник не може зменшуватися з плином часу, може тільки зростати або залишатися незмінним. Тому для отримання порівнянного показника слід, як і для інших бібліометрична індикаторів, задати публікаційного вікно і вікно цитування.

Ще ряд недоліків h-індексу: 

- h-індекс не припускав поправки на дисциплінарну область: порівняння абсолютних значень індексу у вчених, що працюють в різних областях науки, неможливо; це не нормалізований по областям науки показник; 
- у індексі не враховується реальна кількість посилань, отримане статтями вище і нижче точки h: важливо тільки місцезнаходження цієї точки. У науці вкрай важливі високоцітіруемие роботи, для їх обліку набагато краще підійдуть показники топ-10% і топ-1%;• 
- h-індекс не враховує кількість і статус співавторів. Наприклад, у фахівців з фізики високих енергій, що публікують десятки статей в рік з сотнями і тисячами співавторів, він може досягти 30-40 вже в молодому віці. 

m-індекс

Також запропонований Хиршем, цей індекс дає можливість врахувати тривалість кар'єри і розраховується як h-index, поділений на число років з моменту першої публікації. 

g-індекс

Як говорилося вище, з моменту відкриття Хірша вчені наплодили сотні варіацій його індексу. З них скільки-небудь прижився, мабуть, тільки розроблений відомим наукометрістом Лео Егге g-індекс. G-індекс набору публікацій дорівнює такому максимальному g, що g найбільш цитованих статей з цього набору отримали в сумі не менше g в квадраті посилань. На практиці g-індекс завжди більше або дорівнює h-індексом.

Інше визначення: g-індекс вченого дорівнює такому максимальному g, що у вченого є g статей із середньою цитованістю на одну статтю не менш g.

G-індекс позбавлений ключового недодіку, зазначеного для індексу Хірша: він враховує внесок самих високоцітіруемих робіт. Егге запропонував h- і g-індекс з використанням fractional counting, але це вже для мазохістів (http://onlinelibrary.wiley.com/doi/10.1002/asi.20845/abstract). 

Чудово, дуже пізнавально і зовсім не нудно, скажете ви. Але де подивитися на всі ці індекси і нормалізовані цитування по живих людях і організаціям? Вишка купила доступ до аналітичної надбудові SciVal, де кожен бажаючий може в пару кліків вивести h-, g- і m-індекс, порахувати нормалізовану цитованість, число і частку публікацій, які потрапили в топ-10% найбільш цитованих в своїй області, число і частку публікацій в топ-10% журналів і багато іншого. Заходьте з комп'ютерів всередині Вишки на scival.com, реєструйтеся (це швидко, просто і вже оплачено для всіх співробітників) і відчувайте себе справжніми наукометрістамі. Тільки врахуйте, що продавати картинки і таблиці з SciVal або масово розміщувати їх у відкритому доступі заборонено.

Іван Стєрлігов, Альфія Енікєєва

"Академическая среда" -  № 06 (37), 2015 

Категорія: НОВИНИ ОСВІТИ, НАУКИ | Додав: egege (04.03.2016) | Автор: адвокат
Переглядів: 815 | Теги: ИНДЕКС ЦИТИРУЕМОСТИ, наукометрия, Цитування | Рейтинг: 5.0/1
Всього коментарів: 0
Додавати коментарі можуть лише зареєстровані користувачі.
[ Реєстрація | Вхід ]
ФОРМА ВХОДУ
СТАТИСТИКА

Онлайн всього: 2
Гостей: 2
Користувачів: 0
ПОШУК
VIDEO-LEX
ПОГОДА
КАТЕГОРІЇ
ПРАВОВІ НОВИНИ [83]
Правові події, новини законодавства
ЮРИДИЧНЕ РІВНЕ [74]
Правове життя міста Рівне; його юристи, адвокати, судді, установи
НОВИНИ ОСВІТИ, НАУКИ [36]
Наукові та освітні події, новели
ДУМКА ЕКСПЕРТА [78]
Експертний аналіз подій
КОНСУЛЬТАЦІЯ ЮРИСТА [45]
Юридичні консультації, поради адвоката
ЮРИСТИ ШУТКУЮТЬ :-) [12]
Юридичний гумор правників, анекдоти, байки, історії
РІВНЕНЩИНА
ДЕ ТИ?
ТЕГИ
kafedr.at.ua
Інформ строка
Copyright "Web-кафедра права" © 2017 При копіюванні гіперпосилання на сайт kafedr.at.ua ... | Безкоштовний хостинг uCoz