Невоспроизводимость научных статей только увеличила их цитируемость

Невоспроизводимость данных научных статей (в первую очередь по экономике и психологии) не только не снижает их цитируемость, а, наоборот, повышает ее — к такому выводу пришли американские ученые, проанализировав данные трех проектов по оценке воспроизводимости 2015, 2016 и 2018 годов. На эту тенденцию не влияет даже публикация результатов проверки воспроизводимости, пишут авторы исследования в Science Advances

Возможность воспроизвести описанный в научной статье эксперимент и получить те же результаты — один из ключевых принципов, на которых строится современная система научного знания. Однако в реальности далеко не все научные статьи оказываются воспроизводимыми. Иногда авторы намеренно упускают некоторые важные детали, чтобы конкурирующая научная группа не смогла повторить их исследование и сделать следующее открытие в этой области. Иногда условия или объекты исследования классических работ заметно изменились со временем, и сейчас их просто невозможно повторить. Но чаще всего это связано с самими опубликованными результатами: те данные, которые авторов не удовлетворили, как правило, просто не добираются до публикации. А те, которые в итоге оказываются в статье, — отбираются таким образом, чтобы лучше иллюстрировать ту закономерность, на которую хотят обратить внимание авторы. Все эти эффекты привели в итоге к кризису воспроизводимости (или кризису репликации), который наиболее заметен в психологии, медицине, экономике и социальных науках, но наблюдается в том числе и в естественных науках.

Марта Серра-Гарсия (Marta Serra-Garcia) и Ури Гнизи (Uri Gneezy) из Калифорнийского университета в Сан-Диего решили проверить, как воспроизводимость статей влияет на их цитирование. В своем исследовании ученые использовали данные трех проектов, в которых проводилась систематическая оценка воспроизводимости: анализ статей по психологии 2015 года, анализ статей по экономике 2016 года и анализ статей в Nature и Science 2018 года. Статьи из каждого из трех проектов авторы разбили на воспроизводимые (p < 0,05) и невоспроизводимые (p > 0,05) и проанализировали по данным Google Scholar динамику их цитирования с 2010 по 2019 год. Кроме того, исследователи изучили и другие метрики, связанные с цитированием (в частности импакт-факторы тех журналов, в которых были ссылки на невоспроизводимые работы). Отдельно ученые проверили, как повлияла на цитирование статей публикация результатов проверки их воспроизводимости.

Среднее цитирование статей с 2010 по 2019 годы, проверенных на воспроизводимость: A — статьи из Nature и Science, B — статьи по экономике, C — статьи по психологии. Черным обозначено цитирование невоспроизводимых статей, синим — воспроизовдимых

Выяснилось, что для всех трех групп невоспроизводимость результатов исследований не только не снижает цитируемость, а наоборот — повышает ее. В среднем невоспроизводимую статью цитировали на 153 раза больше, чем воспроизводимую. Максимальной эта разница оказалась для статей из Science и Nature. Никакого заметного изменения в динамике цитирования не наблюдалось, в том числе никак не сказалась на ней и проверка на воспроизводимость. Кроме того, те исследования, в которых были процитированы невоспроизовдимые работы, публиковались в журналах с примерно таким же средним импакт-фактором, что и статьи, цитирующие воспроизводимые работы — то есть условное «качество» (или «уровень») статей не отличалось. При этом только в 12 процентах статей, ссылаясь на сомнительную работу, авторы упоминают, что данные не прошли проверку на воспроизводимость.

Слева — вероятность публикации статьи, ссылающейся на воспроизводимые (черные символы) и невоспроизводимые (синие символы) работы. Справа — средний импакт-фактор журналов, в которых эти работы опубликованы

Однако те работы, в которых цитируются воспроизводимые статьи, все же с большей вероятностью оказывались опубликованы в журналах из базы данных Journal Citation Reports — самого полного и надежного источника данных о цитировании в рецензируемых научных журналах. Разница вероятности публикации составила 6,1 процента.

Авторы исследования полагают, что те ученые, которые ссылаются на невоспроизводимые результаты, почти всегда понимают, что эти данные менее надежны. Но предъявляют к ним — как к более интересным — пониженные требования, а также учитывают, что потом такие статьи могут вызвать больший ажиотаж в научной среде и привлечь большее внимание к новой работе.

Подробнее о кризисе воспроизводимости вы можете прочитать в наших материалах «Не повторяется такое иногда» и «Поробуй повтори».

Александр Дубов
Источник: nplus1.ru

0 0 голоса
Рейтинг статьи

Опубликовано: 26.05.2021 в 22:45

Автор:

Категории: Наука и технологии

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии