"Оценка ученых ...определяется уровнем престижности их публикаций. Эта политика пагубна для науки. Любые библиометрические данные, тем более импакт-фактор журналов, в которых ученые публикуются, не могут служить критерием... ценности публикаций. Невоспроизводимость статей стала обычным явлением. Например, в области онкологии она достигает 75%. Растет количество статей, отзываемых из журналов ввиду допущенных ошибок или фальсификаций. Отзыв статей (из-за доказанных фальсификаций - М.Д.) принял такие масштабы, что разрабатывается база данных Retraction Watch, которая уже содержит 16000 записей об отозванных статьях: более 1000 появилось только в 2017... и 650 — в 2016 году... Статьи оцениваются не по их научному потенциалу и новизне, а по перспективе их цитируемости, в результате чего пионерские статьи зачастую отвергаются...

    ...Цитируемость ...не может служить критерием эффективности исследований или ценности публикаций. Проблема корректного использования этих данных уже длительное время обсуждается во всем мире. Большинство крупных ученых либо выражают обоснованные сомнения в правильности их использования в качестве независимого критерия, либо отвергают вообще. При ...ценности библиометрических данных как вспомогательного средства ...они не могут заменить экспертных заключений, основанных на анализе содержания статьи...    

Сегодня, когда, как никогда раньше, оценка ученых все в большей степени определяется уровнем престижности их публикаций, я считаю необходимым предостеречь: эта политика пагубна для науки...

Невоспроизводимость статей стала ...обычным явлением, и в 2015 году Nature опубликовал специальный выпуск, посвященный этой проблеме...

Вынуждающее публиковаться давление понижает качество работы

Так названо эссе в Nature... Число публикаций продолжает расти экспоненциально; оно уже к 2012 году приближалось к двум миллионам... В 1963 году физик и историк науки Дерек де Солла Прайс ...сделал вывод, что научные достижения обеспечиваются очень небольшим процентом исследователей, и поэтому число ведущих ученых будет расти гораздо медленнее, чем количество просто хороших, и это даст «еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся».

Невоспроизводимость в исследованиях рака

...Ученые в отделении гематологической онкологии биотехнологической фирмы Amgen в Калифорнии пытались подтвердить опубликованные результаты, связанные с этой работой. Пятьдесят три статьи, отобранных для анализа, были признаны «знаковыми»... Ожидалось, что некоторые из данных могут не воспроизвестись, потому что были ...выбраны статьи, описывающие что-то совершенно новое... Тем не менее научные данные были подтверждены только в 6 случаях (11%). Даже принимая во внимание особенности доклинических исследований, это было шокирующим результатом.

В недавнем аналитическом обзоре Бегли и Иоаннидиса относительно ситуации с воспроизводимостью биомедицинских данных, авторы, известные специалисты в области статистической обработки результатов экспериментов, пишут: «Оценки частоты невоспроизводимости варьируют от 75% до 90%… Присущая биологическим системам изменчивость означает, что не следует ожидать, что результаты будут обязательно точно воспроизведены в мельчайших подробностях. Тем не менее ...один или два основных вывода... научной работы должны выдерживать проверку... Эмпирические оценки ...показали массу других проблем, в том числе то, что эксперименты не повторялись, что использовались некорректные методы контроля, что качество реагентов не тестировалось и что использовались неправильные статистические тесты. Кроме того, исследователи для публикации часто выбирают наилучший эксперимент, а не суммируют полный набор данных».

В 2016 году Nature провел опрос более 1500 ученых относительно невоспроизводимости результатов. Указывается причина опроса: более чем 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них: существует ли кризис воспроизводимости (52% - «да, сильный»; 38% — «да, незначительный») и какие факторы играют роль в невоспроизводимости (публикация выборочных данных >60%; вынужденность публикации >60%; ...плохой статистический анализ >55%).

Среди ...причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые при ...обнаружении приводят к отзыву статей. Боюсь, что многие подложные результаты остаются необнаруженными ввиду сложности и дороговизны проверок.

Средства огромные, качество данных вызывает сомнения

В Nature в 2012 году выразили... тревогу не относительно того, что крупные проекты дают мало информации, поглощая огромные средства, а относительно получаемых при этом данных, качество которых вызывает много сомнений. «...Никогда не было так легко получать высокоимпактные ложнопозитивные результаты, как в геномную эру, когда массивные сложные биологические данные дешевы и доступны. Для ясности: большинство экспериментов в масштабах полного генома дает реальные результаты, которые было бы невозможно выявить путем исследований, направляемых гипотезой. Тем не менее охота за биологическими сюрпризами без должных мер предосторожности может легко давать богатый урожай артефактов и приводить к высокоимпактным статьям, основанным не более чем на систематическом экспериментальном шуме».

Далее авторы рассуждают, почему возникают ошибки. По их мнению, существует два источника. Во-первых, исключительно большой размер генома означает, что очень необычный результат может появляться случайно чаще, чем можно интуитивно ожидать. Здесь может помочь статистика. Во-вторых, все высокопроизводительные геномные технологии дают ошибки, некоторые из которых могут быть систематическими, и на неопытный взгляд могут показаться интересным биологическим явлением. В результате исследователи могут прийти к ложным заключениям.

Многие области наук о жизни ...имеют дело с массивными объемами данных, так что связанные с технологиями производства больших массивов данных артефакты не ограничиваются геномикой. В результате снова и снова биологи не планируют эксперименты правильно и подают в печать недоработанные материалы, например, полученные с недостаточным для статистического анализа количеством образцов, а затем возвещают о случайных результатах, как о биологических эффектах…

Мы видим..., как... одни и те же исследователи, которые нашли способы опубликовать свои статьи в престижных журналах, ...получают гранты, что способствует новым публикациям и... новым грантам и т. д. Создается «пузырь», который часто не зависит от ...значимости проблемы и который, возможно, отвлекает деньги от пионерских исследований, не набравших еще большой публикационной силы...

Я уверен, что большинство ученых все это понимает, и, более того, думаю, что и многие руководители науки тоже. Однако проще двигаться по пути формальных оценок, чем найти способы выработки объективных критериев оценки качества работ. В результате импакт-фактор стал единственным или основным критерием оценки. Хотя, если говорить об использовании библиометрических показателей, более корректным является использование индекса цитирования, при этом он тоже имеет свои недостатки. В результате люди, которые занимаются очень важными, но по тем или иным причинам непубликуемыми на данном этапе работами, оказываются обойденными...

В моей лаборатории сейчас работает группа талантливых молодых людей, которые создали генно-терапевтический противоопухолевый препарат и сейчас пробивают лбом стену, проводя его доклинические испытания. Это требует гигантских усилий, поскольку в мировой практике только один препарат такого рода получил разрешение на использование, и у разрешительных инстанций нет соответствующего опыта и выработанных критериев оценки. Конечно, такая работа не может иметь многих публикаций... Я думаю, что в стране есть и будут впредь многие другие подобные примеры. Поэтому критерии значимости работы должны учитывать многие факторы, которые разумной экспертной оценкой несомненно могут быть учтены. Это поможет правильному, а не пузыреподобному развитию нашей науки."

Михаил Делягин (индекс Хирша - 16) подчеркнул: "Один из выдающихся ученых современности на огромном числе вполне доказательных примеров показывает пагубность формальных оценок научной деятельности, изо всех сил насаждаемых российскими либералами. В мировой науке засилье этих оценок порождает массовую небрежность, а то и прямые фальсификации ради сенсаций и грантов. Однако научная бюрократия полностью игнорирует уже даже не голос, а прямо-таки крик разума, - и назначение Министром высшего образования и науки бывшего руководителя пресловутого ФАНО вызывает оторопь и желание спасаться. После формирования либерального правительства Медведева государство, боюсь, продолжит реализацию стратегии полного искоренения интеллекта с удесятеренной силой, - хотя ряд выдающихся ученых еще и надеется на лучшее, создавая и защищая островки прогресса."
/ Мнение автора может не совпадать с позицией редакции /