Один из основополагающих критериев хорошей науки - воспроизводимость. Эксперимент должен обязательно давать одинаковые результаты если его ставят одинаковым образом разные люди в разных лабораториях (в пределах погрешности, естественно). Для этого нужно очень детально и скрупулезно описывать методику эксперимента, чтобы другой ученый, при желании, мог его повторить. В принципе, требование детального описания методики существует практически во всех областях науки и во всех приличных журналах, но на практике оно соблюдается довольно редко.
Причин у наплевательского отношения к описанию методики несколько. Во-первых описывать ее банально лень т.к. это очень нудное занятие, а в статьях хочется сосредоточиться на результатах и выводах. Во-вторых во многих журналах рецензенты читают методику по диагонали т.к. это тоже очень нудное занятие, а стало быть пробелы в ней часто проходят незамеченными. В-третьих очень распространенной является практика сознательного замалчивания каких-то мелких, но очень важных деталей, без которых воспроизвести эксперимент не получится. Это делается специально чтобы оставить за собой эксклюзивное право пользоваться придуманной крутой методикой и не иметь конкурентов. В условиях постоянной драки за гранты - это существенный козырь.
Невозможность повторить большое количество научных работ получило название кризис воспроизводимости. Его причина не только в криво описанной методике, но она тоже вносит свой вклад. Ярче всего кризис проявляется в психологии, где не получается воспроизвести более 2/3 всех исследований. Тревожные звоночки поступают и из такой важной области как исследования рака - там также далеко не все воспроизводится. Если примеры и из других областей: медицины, экономики, маркетинга, экологии, эволюционной биологии и т.п.
Проблемы невоспроизводимости хорошо известны и для их решения уже разрабатываются новые приемы, которые раньше в науке не применялись: пререгистрация исследований, переосмысление критериев статистической значимости результатов, отдельное финансирование повторного независимого воспроизведения
важных результатов, загрузка "сырых" экспериментальных данных в
"облако" для общего доступа и т.д. Все это постепенно формирует новый тренд,
получивший название открытая наука, который, в теории, должен если не преодолеть совсем, то существенно ослабить кризис воспроизводимости. Идея состоит в том, чтобы сделать весь процесс исследования максимально открытым, прозрачным и доступным для мониторинга и перепроверки на любом этапе.
В моей работе тоже был показательный и веселый случай, который ярко демонстрирует все эти болячки. В
моей области (молекулярном моделировании) небрежное описание методики -
чуть ли правило хорошего тона. Чтобы понять почему, надо немного объяснить как в нашей песочнице делаются исследования:
Так вот, из всего этого добра в статьях на методику отводится, обычно, пара скупых абзацев. Естественно, ни о какой точной воспроизводимости в большинстве случаях говорить не приходится - желающему повторить результат приходится заново проделывать все операции и заново подбирать кучу параметров.
Теперь, собственно, случай из моей практики. Есть такие забавные небольшие заряженные пептиды, называемые CPP (cell-penetrating peptides), которые спонтанно пролазят сквозь клеточные мембраны. Как именно они это делают толком не понятно до сих пор, но доминирующей является идея, что они формируют в мембранах сквозные поры.
В далеком 2007 г. мы аккуратно промоделировали взаимодействие этих пептидов с мембранами и выяснили, что никаких пор мы не наблюдаем и что пептиды даже просто в мембрану влезать не желают.
Примерно в то же время другая группа ученых бодро отрапортовала, что они намоделировали самопроизвольное формирование пор и все это наглядно увидели. Встал вопрос ребром: или мы дураки, или лыжи не едут. Мы полезли разбираться в методике конкурентов и нашли у них эпичный ляп (дальше сложные технические детали, можете не читать):
Ребята забыли насыпать в систему контрионы, чтобы нейтрализовать ненулевой заряд пептида. Алгоритмы рассчета электростатики в молекулярной динамике работают так, что в случае некомпенсированного заряда сам собой возникает паразитный объемный заряд противоположного знака, который размазан равномерно по всему объему системы. Этот заряд сильно дестабилизирует мембрану и в нее лезет всякая гадость, которая в норме лезть не будет.
Об этой "особенности" (де факто просто ошибке, допущенной каким-то не шибко подкованным аспирантом) в статье конкурентов было сказано вскользь, между прочим, но все-же было. Если бы сказано не было вообще, то конфликтующие результаты так и висели бы годами и никто так и не нашел бы причину расхождений!
Знаете что сделали эти ребята когда мы макнули их в ошибку? Думаете исправили ляп и все перепроверили? Может быть отозвали статью или написали к ней дополнение с признанием ошибки? Не-а! В последующих работах они... (барабанная дробь)... вообще перестали что-либо писать в методике про контрионы, чтобы больше никто к ним не придолбался! При этом они продолжали отлично публиковаться и цитироваться в хороших журналах.
Возникает риторический вопрос: спасет ли новомодная "открытая наука" от человеческой хитрожопости?
Коментарі доступні тільки зареєстрованим користувачам
вхід / реєстрація