Мы действительно находимся в кризисе воспроизводимости в науке?

Question

Кризис воспроизводимости, заключается в том, что результаты исследований не могут быть повторены в отрыве от авторов исследования.

В проекте Reproducibility Project при попытке воспроизвести 100 исследований из трех разных журналов: Psychological Science, the Journal of Personality and Social Psychology, и Journal of Experimental Psychology: Learning, Memory, and Cognition за 2008 год было обнаружено, что в 97 из 100 оригинальных работ есть положительный (статистически значимый) результат. И только 35 из 97 (36%) работ удалось воспроизвести. Причем когда удавалось воспроизвести, результаты были ниже, чем в оригинальных работах.

Говорят, что это происходит не только в психологии. И в онкологии. И даже в физике.

Есть работа John P.A.Ioannidis "Why Most Published Research Findings Are False".

Answer 1

У этого явления есть несколько причин и следствий.

1. Так и должно быть. Материя именно так и устроена. Эксперименты обнаруживают то, что должны обнаруживать.

2. Ученые не имеют модели материи, они не знают ее структуру и не знают, какие условия экспериментов нужно повторить. Когда узнают, увидят, что полное повторение невозможно. Частичное - да, модель покажет, какая часть может быть повторена.

3. От экспериментов требуется не повторяемость, а обобщение. Не повторяемость вариантов, но инвариант - универсальная модель, которая описывает все варианты универсальной формой материи.

Теория состоит из фактов, которые частично повторяемы, чем и верифицируются, и логики обобщения, которая не верифицируется, если она рациональная. А другой нет. Итого - теории верифицировать нечем. Нужно создавать действительно работающий верификатор. Верификатором будет полная модель формы материи, которая нерациональная. Рациональная полной быть не может.

Т.е. проблема не на уровне повторяемости фактов, а на уровне верификатора, который будет работать на этапе чисто логического обобщения фактов.

4. Некоторые типы экспериментов используют не фильтры наблюдения, но синтезирующие фильтры. Этим грешат ускорители, например. Что, с учетом их стоимости, мягко говоря, сложно признавать.

Есть и другие аспекты.

Comments

1. Так и должно быть. Материя именно так и устроена. Эксперименты обнаруживают то, что должны обнаруживать.

Кому эксперименты должны? Если они обнаруживают то что должны, то они получается не обнаруживают того что есть.

3. От экспериментов требуется не повторяемость, а обобщение.

Обобщение требуется от того кто данные эксперимента изучает, от самого эксперимента никакие обобщения не требуются.

У вас во всём вашем рассуждении такая путаница кто на ком стоял, от того страдает смысл написанного и то полезное что можно было бы извлечь из ваших рассуждений теряется из-за это.

---

"Кому эксперименты должны?"

"Эксперименты обнаруживают то, что должны обнаруживать."

Эксперименты обнаруживают свойства материи. Что и должны обнаруживать. Материя не обеспечивает полную повторяемость результатов экспериментов, что и фиксируют эксперименты.

В чем проблема? Если вы хотите от материи нечто иное, так это ваши проблемы - ваших желаний, это вы себя запутываете.

"От экспериментов требуется не повторяемость, а обобщение".

Именно это я и написал. Эксперименты нужны не для доказательства теории. Это вы сами захотели постулировать такие отношения экспериментов и теории. Эксперимент доказывает сам себя, не более.

Эксперимент нужен для поиска инварианта материи. Эксперимент необходим, чтобы мы убедились в том, что теория описывает материю, а не наши фантазии, но необходимости недостаточно.

Вы пытаетесь строить теорию на основании обобщений результатов экспериментов. Я вас правильно понимаю? И вы совершаете принципиальную ошибку. Вы не можете верифицировать логику обобщения - нечем.

Я иду другим путем. На некоторые вопросы отвечу далее, если они у вас будут. А сейчас следите за руками. 

Базовым требованием к теории является ее полнота. Не целостность, поскольку полнота сумму не сохраняет, хотя законы сохранения обеспечивает. 

Гёдель решил часть задачи о полноте - полнота не может быть рациональной. Материя полна. Отсюда:

Если вы в процессе экспериментов обнаружили некоторый факт, то вы доказали, тем самым, возможность существования в некотором смысле противоречащих ему фактов. В каком смысле противоречащих? На этот вопрос отвечает полная модель, будучи существующей уже.

Из слов или описания частных свойств материи полную модель материи построить невозможно. Полная модель, которая доказывает саму себя, может быть написана исключительно на языке математики.

Итого. Решаем эту задачу в общем виде - строим некоторую полную математическую модель, которая не имеет ошибок внутри себя. Построили.

Но что именно мы построили? Какую задачу мы решили? Моделью чего может быть такая математика, которая доказывает саму себя и обладает, соответственно, другими уникальными возможностями и свойствами?

Изучаем модель и формулируем гипотезу - мы построили модель материи. И вот только теперь мы обращаемся к экспериментам и интерпретируем математические свойства в терминах физики, например.

Здесь мы сверяем теорию с практикой. Теория у нас уже до этого безусловно верна - она сама себя доказывает тривиальным образом. 

Повторяемость результатов экспериментов если и нужна, то именно такие свойства и должна потребовать теория. Мы увидим в полной модели, какие именно свойства и в каких условиях могут быть повторены - что именно требовать от результатов экспериментов.

Итого. Кому должны эксперименты? Теории, которая априори безусловно верна. И гипотезе об эквивалентности этой теории и универсальной модели формы материи - инварианта материи.

Если вы себя запутали давно и безнадежно - и другого выхода нет, то необходимо и возможно искать новый вход.

---

Если коротко.

Материя описывается универсальной формой - инвариантом.

Эксперименты обнаруживают лишь варианты материи. От вариантов к инварианту пути нет. Отношения между инвариантом и вариантами иерархические.

Так, например, варианты лишь реализуют законы сохранения. Варианты не сохраняются сами. Варианты возникают, существуют, исчезают, - они не сохраняются, но законы сохранения обеспечивает полнота формы материи.

По этой причине варианты инвариант не доказывают. Инвариант должен и таки может доказать сам себя.

Вы используете такую структуру познания, которая генерирует неизбежные ошибки. И вы не знаете ни природу, ни масштаб этих ошибок. Знаете лишь, что ошибки эти включают в себя бесконечности, то есть масштаб ошибок явно больше бесконечностей.

---

В чем проблема? Если вы хотите от материи нечто иное, так это ваши проблемы - ваших желаний, это вы себя запутываете.

Проблема в том, что вы безграмотно пишете по русски. Повторю ещё раз проблема в смысле написанного вами, а в форме. Я тут конкретно к вам претензию высказываю а не к вашим идеям, о идеях мы поговорим в другой раз.

Для примера я покажу на том что было во второй цитате:

От экспериментов требуется не повторяемость, а обобщение.

Это предложение по смыслу равно: От экспериментов требуется обобщение. Видите где проблема? В вашем предложении обобщение производит эксперимент, что радикально меняет смысл всего вами написанного. И такого у вас весьма много.

И я вас верну к первой цитате:

Эксперименты обнаруживают то, что должны обнаруживать.

Из этого следует следующее: Если эксперименты обнаруживают то что должны, то они получается не обнаруживают того что есть, а значит не являются экспериментами. При том что вы то совсем иную мысль хотели высказать.

Повторюсь, формулируйте свои мысли более корректно, оно для ваших же идей будет лучше.

---

Я понимаю вашу логику. Я пытаюсь построить другую логику, другого типа.

Рациональная логика не работает.

Логика другого типа возникает из достаточно странных - с рациональной точки зрения - возможностей полной модели.

Полная модель является эмерджентной. Это не мы составляем  полную модель из коллекции наблюдаемых нами свойств реальности. Таким образом полную модель построить нельзя.

Полная модель, будучи существующей уже, сама отвечает на вопросы. Полная модель формы материи является причиной для себя самой. Внутри себя она обнаруживает и противоречивую логику, и логику отношений между квантами, где причина может быть одновременно со следствием и даже позже следствия.

Я пытаюсь сохранять логику полной модели материи в своих рассуждениях. Возможно, не всегда удачно. Русский язык к нашим годам оказался очень сильно рационализирован. По этой причине мне трудно сохранять и логику материи, и текущие нормы языка.

С другой стороны, вы не имеете права требовать соблюдения линейной логики речи, поскольку такая логика реальность не описывает. Какие инструменты мы используем по ходу мышления, такие результаты и получаем.

---

С другой стороны, вы не имеете права требовать соблюдения линейной логики речи, поскольку такая логика реальность не описывает.

Если вы не заметили я не о логике говорил, а о правилах русского языка, о том что вам стоит писать согласованный текст. так то соблюсти ту логику о которой вы говорите, вы вполне способны написав это в рамках языковой нормы.

---

Так я вам и пишу о правилах согласования текста. То есть о логике.

Еще на начало 20-го века ученые были уверены в том, что рациональная логика может работать верификатором. Верификация обеспечивается внутренней согласованностью модели. Чтобы рационально согласованный текст, например, был верным, то необходимо соблюдать четыре основных закона рационального мышления. Базовый из них - отказ от противоречия.

Чтобы текст прошел рациональные критерии верификации, текст должен быть внутренне согласован, то есть он должен быть избавлен от противоречий. Если вы находите в тексте противоречие, то вы обязаны считать его ошибочным.

На самом же деле, все наоборот. Рационально согласованный текст, который избавлен от противоречий, реальность не описывает. А нормы современного языка требуют соблюдения линейно рациональной логики. Язык наследует проблемы познания в полной мере. 

Во времена самого Аристотеля, который предложил 3 из 4-х догматов рационализма, язык еще не был рационализирован. Слова имели по 20 и более значений, порядок слов в предложении определялся не только пишущим, но и читающим.

Так, например, знаменитую фразу Геракликта "В одну и ту же реку нельзя войти дважды" сам Гераклит читал как "Неизменное возможно лишь в изменяемом". Смысл кодирует и читающий тоже.

Что делать с современным нам языком, если мелодичный текст, выстроенный линейно логично, совершенен сам по себе, но он лишен опор на ключевые смыслы? Есть и другие проблемы. И по сути, и по форме.

Вы требуете соблюдения языковых норм, я же требую описание реальности. Традиционные языковые нормы решение такой задачи не обеспечивают.

Если с русским еще куда ни шло, то многие другие языки оказались рационализированными лет 200-300 назад.

По итогу я предлагаю обсуждать сущности, не обращая особого внимания на формализм оппонента. И вот здесь уже да - общение ускоряется. Мы обсуждаем сущности, например, с глубоко верующими людьми из разных концов света, они опираются на различные картины мира, и мы не имеем вообще никаких проблем в коммуникации.

Что касается моих текстов, то я исследую определения и смыслы - как отдельных слов, так и больших фраз. Я вижу красивые формы, я могу повторить их, я вижу, как они устроены, но я нуждаюсь в другом - в описании реальности.

Отдельная тема - художественный текст, он требует устного и художественного прочтения - реализации в текущем настоящем. Там работают другие механизмы - интонационные. Я изучаю интонации тоже.

Если научный текст предназначен для определений, то художественный - для смыслов.

Меня не устраивают возможности современного мне языка, я в поиске решений, и я далеко не всегда удачен в результатах этого поиска, особенно в таком формате как здесь - в режиме импровизации.

Я умею писать другие тексты, которые предполагают неоднократное перечитывание, поскольку содержат много смыслов, а потому я не использую однозначные определения.

Прочитайте о разнице между определениями и смыслами.

Answer 2

Грубо говоря, достоверность Западной науки меньше 50%, почти 1/3.

Answer 3

А причина этого банальна, хотя в то же время незаметна для авторов исследований, просто потому что они находятся внутри этого контекста.

Чтоб уловить причину, нужно понять, а чем собственно так особенна западная психологическая наука. Рассматривая внимательно вы увидим ряд ключевых особенностей:

1. Западная психология не научна, в том смысле, что она не пытается выявлять как изучаемое явление устроено на самом деле. Такую цель перед большинством исследований никто и не ставит. Цель почти всегда стоит в измерении эффективности метода или в доказывании что метод работает, как и почему он работает никого не интересует.
2. Засилье корреляционной психологии. Вот мы смотрим статистику и видим в ней некоторые корреляции. Причину этих корреляций мы смотреть не будем просто потому что цели такой нет.
3. Отрицательный результат исследований, как собственно и не такой как был ожидаем в лучшем случае публикуется как отдельное исследование, а в большинстве случаев не публикуется вообще.

При таких вводных оно и не будет воспроизводиться, тут ничего удивительного нет.

С онкологией всё интереснее, тут как с вредом табака, слишком сильное лобби и слишком большие деньги, чтоб позволить публиковаться исследованиям. В теме большой фармы всё вообще плохо в этом отношении.

В физику и другие науки это попадает просто потому, что люди находятся в одной культурной среде и со временем происходит такое вот проникновение и как следствие исследования начинают проводиться через известное место.

 

Answer 4

Причины в том, что реальность гораздо более сложная, чем её математическая модель. От теории до практики пропасть.

Причина 1. В теоретической физике описываются идеализированные понятия.- абсолютно чёрное тело, абсолютно твёрдое тело, сплошной поток и т.д. В реальности ничего абсолютного и идеального не бывает. Данные измерений в реальном эксперименте всегда будут отличаться от предсказанных теорией.

Причина 2. В любом практическом эксперименте всегда есть погрешности измерения, всегда есть шумы, помехи, от которых невозможно избавиться полностью.

У авторов исследования и повторителей разный подход к обработке экспериментальных данных. Задача настоящего учёного первопроходца - отделить сигнал от шума, главное от второстепенного, уловить закономерность выведенную теоретически для идеального случая.

Задача повторителей другая - подтвердить или опровергнуть закономерность, полученную ранее. Они будут обращать внимание и на шумы и на второстепенное. Поэтому воспроизводимость результатов будет снижена.

Answer 5

Ну, считать психологию наукой, на сегодняшний день очень спорно.

Плюс, около нее вьется такое количество шарлатанов, что не специалисту отличить ученого от мошенника крайне сложно.

Говорят, что это происходит не только в психологии

Говорят, что кур доят. 

Работе John P.A.Ioannidis "Why Most Published Research Findings Are False" уже 20 лет от роду, и посвящена она вопросам недобросовестности и фальсификации исследований, а не воспроизводимости экспериментов.