За десять лет руководства отделом онкологических заболеваний компании Amgen, Inc. Гленн Бигли (C. Glenn Begley) лично отобрал 53 «эпохальные» публикации из самых авторитетных журналов, авторами которых были сотрудники самых уважаемых лабораторий. Отобрал для того, чтобы попытаться воспроизвести.
В Amgen считают нужным лишний раз перепроверить представленные результаты, прежде чем вкладывать деньги в очередной многообещающий проект по разработке очередного антиракового препарата.
И вот итог: 47 из 53 опубликованных результатов были невоспроизводимы. Г-н Бигли прокомментировал это в статье, появившейся в журнале Nature (см. также комментарий редактора).
Когда самоцелью становятся деньги, не приходится удивляться тому, что учёные забывают о радости настоящего открытия. (Иллюстрация True Democracy Рarty.)
По словам учёного, который теперь служит старшим вице-президентом биотехнологической компании TetraLogic (также разрабатывающей противораковые лекарства), это был настоящий шок. Как раз те самые исследования, на которые полагается вся фармацевтическая индустрия, стараясь определить себе новые цели, на поверку оказываются пустышкой.
Неспособность одержать победу в антираковой войне мы всё время объясняем самыми разными причинами, начиная с использования мышиных моделей, которые нерелевантны по отношению к человеческой онкологии, и заканчивая не желающими рисковать ведомствами и организациями, финансирующими фундаментальные исследования. И вот, кажется, появился настоящий подозреваемый: слишком много фундаментальных научных открытий, которые, как мы считали, должны были привести к созданию новых лекарств, являются ошибочными.
Слова г-на Бигли эхом звучат в отчёте, подготовленном специалистами Bayer AG в прошлом году. Вот его главная мысль: хотя ни одну из научных групп, чьи данные проверялись компанией, нельзя обвинить в фальсификации результатов, воспроизвести последние также не получается.
Гленн Бигли, как и его коллеги из Bayer, очень обеспокоен тем, что этот феномен — дитя перекошенной системы поощрений, которые совершенно необходимо демонстрировать в своём резюме либо для получения дальнейшего финансирования, либо для продвижения по карьерной лестнице.
Джордж Робертсон из Университета Новой Шотландии (Канада), работая в компании Merck, в группе, занимающейся нейродегенеративными заболеваниями, с сожалением констатирует, что описанная ситуация не является уникальным явлением. Ему тоже снова и снова приходилось сталкиваться с академическими исследованиями, которые не выдерживали проверок. Ставшее уже обычным явление буквально сводит с ума фармацевтов, пытающихся дать жизнь хоть каким-нибудь из этих «поворотных» результатов... А в итоге, по мнению г-на Робертсона, выходит то, что одной из причин того коллапса фармацевтической и биотехнологической промышленностей, который мы сегодня наблюдаем, как раз является академическая наука, неспособная предоставлять достоверные результаты.
Верите или нет, но за последние двадцать (!) лет лишь однажды, после открытия препаратов Gleeveс и Herceptin, удалось нащупать многообещающий путь в разработке противораковых средств. Gleevec, средство для борьбы с лейкемией производства компании Novartis, позволяет переводить пациентов с прогнозом в 6–12 месяцев в группу хронических больных, обещая им 10–15 лет спокойной жизни. Herceptin, моноклональное антитело производства Genentech, успешно применяемое в комплексной химиотерапии метастазирующего рака молочной железы, улучшает прогноз, резко повышает выживаемость, вполовину снижает риск рецидива.
В обоих случаях вначале были открыты генетические изменения, которые превращали нормальные клетки в злокачественные, и уже эти результаты позволили впоследствии разработать молекулы (Gleevec — малая молекула, Herceptin — огромный белок) под конкретные цели. Подход породил взрывное количество сообщений о других потенциальных «целях», которые нуждаются в своих «гливиках». Вот на этом-то этапе Amgen и попыталась воспроизвести результаты нескольких свежих публикаций, прежде чем запускать препараты в разработку.
Специалисты из компании Bayer оказались даже менее успешны в своих проверках, чем их коллеги из Amgen; о наболевшем они поделились в статье «Believe it or not», вышедшей в 2011 году. Они дотошно проанализировали состояние дел в своих исследовательских проектах, которые основывались на «волнующих данных» фундаментальных работ, опубликованных академическими группами (в них компания уже успела вложить деньги; Amgen же хватило ума сначала перепроверить, прежде чем вкладываться). К сожалению, оказалось, что очень часто ключевые результаты невозможно воспроизвести. Так, из 47 онкологических проектов, запущенных Bayer к 2011 году, лишь менее четверти могли повторить уже предъявленные миру результаты. И это несмотря на старания 3–4 специалистов, занятых исключительно копированием опубликованных данных (в американской академической науке подавляющее большинство результатов — следствие усилий одного человека, аспиранта или молодого учёного, проходящего стажировку; иногда усилия аспиранта и молодого учёного суммируются).
Итак, Bayer и Amgen, увы, подтвердили печальный вывод, который делают в своей статье Глен Бигли и Ли Эллис из Онкологического центра М. Д. Андерсена: престиж журнала уж точно не является гарантией высокого качества публикации.
Всякий раз, когда «репликационная команда» Amgen (а это около 100 учёных) сталкивалась с невопроизводимостью журнальных данных, перепроверяющие пытались контактировать с авторами. Некоторые откликались: предоставляли собственные «сырые» материалы, продукты синтеза, антитела и пр., использовавшиеся в оригинальном исследовании, и даже старались лично участвовать в работе компании. Другие требовали от Amgen специального договора о неразглашении, прежде чем соглашались каким-либо образом обсудить возникшие проблемы. Но, как заметил г-н Бигли, подобный договор, от подписания которого компания постоянно отказывалась, не позволил бы ей открыто рассказать о том, какие именно из опубликованных результатов — а многие статьи набрали очень высокий индекс цитирования — являются, мягко говоря, очевидно ошибочными. Но самый распространённый ответ на претензии был таким: «Вы всё неправильно делаете».
Но не будем с пониманием кивать головой, давая понять, что мы-то знаем, почему и вторые, и третьи отказываются от сотрудничества. На самом деле, как замечает Фил Шарп, онколог и биолог, лауреат Нобелевской премии, профессор Массачусетского технологического института (США), если вдуматься, онкология — чертовски сложная область научных изысканий, где результат даже самых строгих исследований может воспроизводиться только в определённых условиях. Г-н Шарп объясняет, что раковая клетка может вести себя очень по-разному уже при небольшом изменении внешних условий, и, по его мнению, большинство флуктуирующих результатов появляются именно по этой причине.
Тем не менее другие учёные с беспокойством полагают, что ужасающую статистику невоспроизводимых результатов наилучшим образом объясняют куда более простые вещи. Так, например, сражаясь с невозможностью воспроизвести очередную публикацию, Гленн Бигли встретился за завтраком (во время конференции) с руководителем группы, опубликовавшей те самые результаты. Г-н Бигли не постеснялся заметить, что его сотрудники пятьдесят раз пытались воспроизвести работу, и всё без толку. На что собеседник, не моргнув глазом, ответил: «Нам повезло больше, положительный результат удалось зафиксировать всего после шести попыток — правда, только однажды, но, поскольку это выглядело здорово, мы всё же решили сообщить о нём в статье» (конечно же, опустив некоторые «незначительные» подробности о волатильности данных)... Печальная складывается ситуация. Подобные публикации, посвящённые единственному «выборочному» результату, и есть основная причина того, что научная литература оказывается густо приправленной горьким перцем «некорректных» данных. Кроме того, надо понимать, что каждый исследователь, посвящающий себя какой-то проблеме, всегда интерпретирует неоднозначные результаты в свою пользу.
И в качестве эпилога. На прошлой неделе на заседании комитета американской Национальной академии наук всплыли не менее удручающие цифры в целом по научной отрасли. Так, сообщалось, что за последние десять лет число отозванных научных статей увеличилось более чем в десять раз, в то время как количество журнальных публикаций возросло лишь на 44%. (Ну вот, в одном предложении нам предлагается сравнить несравнимые «разы» и «проценты» и в обоих случаях без информации о базовой величине. Стыдно, товарищи учёные!) Одной из причин создавшегося положения предложено считать гиперконкурентную академическую среду, которая поощряет «плохую» науку и даже подтасовки результатов: слишком много исследователей конкурируют за постоянно уменьшающееся финансирование. Самым гарантированным методом получения очередного гранта или предложения о работе считается публикация результатов в наиболее рейтинговых журналах, что порождает в учёных нездоровое стремление к сенсации даже там, где её нет, а иногда доводит и до мошенничества. Представители комитета решились прямо указать на то, что сложившаяся система поощрений в академической науке демотивирует учёных к проверке того, не явилось ли их открытие следствием случайности. Не говоря уже о проверке чужих результатов и открытий. Не далее как в конце 1990-х самым перспективным целям для противораковых препаратов посвящалось от 100 до 200 публикаций. Теперь же — менее полудюжины (в среднем).
Как заметил Кен Кайтин, директор Центра разработки лекарственных средств при Университете Тафтса (США), если вы в состоянии написать и опубликовать статью, то не будете даже задумываться о воспроизводимости. Вы можете сделать одно наблюдение и перейти к написанию статьи. Нет абсолютно никаких стимулов, способных побудить исследователя доказывать самому себе, что он не ошибается.
Источник: science.compulenta.ru
