Как научить политиков разбираться в науке

Поделиться в социальных сетях

Призывы к более тесной интеграции науки в процесс принятия политических решений был обычным явлением на протяжении десятилетий. Однако существуют серьезные проблемы с применением научных знаний в разных политических сферах: от энергетики до здравоохранения и от окружающей среды до образования.

Одним из предлагаемых способов улучшения ситуации является привлечение большего числа ученых к участию в политике. И хоть это похвально, глупо было бы ожидать серьезного вовлечения ученых в политику. Другое предложение заключается в расширении роли главных научных советников (1), увеличении их числа, обеспечении их беспрепятственного участия в политических процессах. Но ни один из этих подходов не решает основную проблему. А именно: невежества самих политиков.

Может, можно обучить политиков науке? Это заманчивая идея, но у кого из политиков есть на это достаточно времени? На практике политики почти никогда не читают научные книги или статьи. Исследования, относящиеся к теме дня, например, замена митохондрий, туберкулез крупного рогатого скота или удаление ядерных отходов истолковываются для них советниками или сторонними заинтересованными лицами. И весьма редко бывает так (если вообще бывает), что некий хорошо спланированный, поставленный с соблюдением всех правил и необходимых мер эксперимент приводит к однозначному выводу и решает конкретную общественную проблему.

Поэтому мы полагаем, что приоритетной задачей в решении проблемы является улучшение понимания политиками несовершенства науки. Основные навыки, которые им необходимы — умение задавать экспертам и консультантам правильные вопросы, а также уметь оценить качество тех или иных доказательств, увидеть их недостатки и распознать предвзятый подход. Мы называем это навыками умения интерпретировать научные доказательства. Приобрести эти навыки проще, чем разобраться в фундаментальной науке, поэтому они могли бы стать частью профессиональных навыков для большинства политиков.

С этой целью мы предлагаем 20 концепций, которые должны быть частью обучения государственных служащих, политиков, советников, журналистов и всех, кому, возможно, придется взаимодействовать с наукой или учеными. Политики, которые обладают здравым скептицизмом и не готовы верить во все, что им говорят заинтересованные лица, могли бы вооружится этим списком.

Мы не настолько наивны, чтобы полагать, что это автоматически повысит качество политических решений, мы полностью осознаем, что научное суждение само по себе является ценностным, а предвзятость и наличие определенных условий являются неотъемлемой частью процесса сбора и интерпретации данных. Но мы предлагаем простой список идей, которые могут помочь лицам, принимающим решения, делать это на основании доказательств и попытаться избежать ненужного влияния со стороны тех, кто отстаивает собственные интересы. А вот более сложная часть проблемы — социальная приемлемость тех или иных решений, уже зависит от политиков и политических процессов.

Конечно, этот список не является панацеей, но мы считаем, что широкое понимание обществом этих двадцати концепций станет заметным шагом вперед.

Нужно уметь отделять интересующий фактор. Реальный мир меняется непредсказуемо. Наука в основном занимается обнаружением причин, приводящих к тем ситуациям, которые мы наблюдаем. Почему в этом десятилетии жарче, чем в прошлом? Почему в некоторых районах больше птиц, чем в других? Существует много объяснений таких тенденций, поэтому основная задача исследований заключается в том, чтобы отделить важность интересующего процесса (например, влияния изменения климата на популяции птиц) от бесчисленного количества других причин (от глобальных причин, таких как интенсификация сельского хозяйства и распространение инвазивных видов, до процессов местного масштаба, таких как случайные события, определяющие рождения и смерти).

Не существует точных измерений. Практически все измерения имеют некоторую погрешность. При проведении повторных измерений можно получить другой результат. В некоторых случаях ошибка измерения может быть большой по сравнению с реальными различиями. Таким образом, если вам скажут, что экономика выросла на 0,13% в прошлом месяце, существует умеренная вероятность того, что по факту она сократилась. Результаты должны преподноситься с точностью, учитывающей вероятность ошибки, чтобы избежать необоснованной степени точности.

Предвзятость – частое явление. Конкретный способ проведения эксперимента или методика измерения может дать нетипичный для заданного направления результат. Например, опросы, касающиеся выборов, дадут разные результаты, если опрашивать людей на улице, дома или через Интернет. А поскольку исследования, в которых сообщается о «статистически значимых» результатах, с большей вероятностью будут задокументированы и опубликованы, научная литература имеет склонность создавать преувеличенную картину масштабов проблем или эффективности решений. Что касается эксперимента, то он вполне может быть предвзятым. Например, участники эксперимента, которым предоставляется лечение, уже ожидают, что должны что-то почувствовать, и это может повлиять на их поведение или восприятие эффектов лечения. На исследователей, собирающих результаты, также может повлиять знание того, кто именно получил лечение. Идеальный эксперимент – это двойной слепой эксперимент, при котором ни участники, ни те, кто собирает данные, не знают, кто получил лечение. Этот метод легко применить при испытаниях медицинских препаратов, однако он зачастую невозможен для социальных исследований. Предвзятость подтверждения возникает, когда ученые, обнаружив доказательства теории, становятся недостаточно критичными к собственным результатам или вообще прекращают поиск доказательств противоположной точки зрения.

Чем больше группа воздействия, тем точнее результат. Среднее значение, полученное из большого числа наблюдений, обычно будет более информативным, чем среднее значение, полученное из меньшего числа наблюдений. То есть, когда мы накапливаем доказательства, наши знания увеличиваются. Это особенно важно, когда исследования затруднены значительным количеством естественных отклонений и погрешностей измерения. Таким образом, эффективность медикаментозного лечения будет варьироваться естественным образом между субъектами. Его средняя эффективность может быть более надежно и точно выявлена из испытания с десятками тысяч участников, чем с сотнями.

Корреляция не подразумевает причинно-следственную связь. Всегда есть соблазн предположить, что одно явление является следствием другого, однако корреляция может быть случайной, или она может быть результатом того, что оба явления вызваны третьим фактором — «смешанной» или «скрытой» переменной. Например, экологи в свое время считали, что ядовитые водоросли убивают рыбу в устьях рек, но оказалось, что водоросли росли там, где погибали рыбы. То есть, водоросли, как таковые, не стали причиной смерти (2).

Регрессия к среднему значению может ввести в заблуждение. Экстремальные показатели могут быть, по крайней мере частично, аномалиями, обусловленными случайностью или ошибкой. Следующий подсчет, вероятно, будет менее экстремальным. Например, если камеры контроля скорости устанавливаются в месте, где произошел шквал ДТП, снижение количества аварий нельзя относить к появлению камеры, поскольку оно произошло бы в любом случае.

Экстраполировать за пределы данных рискованно. Закономерности, обнаруженные в пределах определенного диапазона, не обязательно будут применимы вне этого диапазона. Таким образом, очень трудно предсказать реакцию экологических систем на изменение климата, если скорость изменения выше той, которая известна из эволюционной истории существующих видов, кроме того экстремальные погодные условия могут быть совершенно новыми.

Остерегайтесь ошибки базового процента. Способность несовершенного испытания идентифицировать состояние зависит от вероятности возникновения этого условия (базовый процент). Например, анализ крови пациента на предмет редкого заболевания, являющийся «точным на 99%», может дать положительный результат, при этом вряд ли у пациента будет заболевание. Если анализ берется у 10 001 человека, из которых лишь один является носителем заболевания, у него почти наверняка будет положительный результат, но также он будет положительным у еще 100 человек (1%), которые не больны. Об этом важно помнить при проведении любых проверок, например, выявлении террористов в аэропортах.

Важен контроль. Контрольная группа рассматривается точно так же, как и экспериментальная группа, за исключением того, что лечение не применяется. Без контроля трудно определить, действительно ли данное лечение дало эффект. Контроль помогает исследователям быть уверенными в том, что нет никаких искажающих факторов, влияющих на результат. Иногда люди, участвующие в испытаниях, сообщают о положительных результатах из-за обстановки или лица, предоставляющего лечение, или даже цвета таблетки (3). Поэтому так важно сравнивать полученные результаты с контрольной группой, например, используя таблетку без активного ингредиента (плацебо).

Рандомизация позволяет избежать предвзятости. Эксперименты должны, где это возможно, случайным образом выбирать отдельных лиц или группы воздействий. Например, сравнение учебных достижений детей, чьи родители участвуют в программе здравоохранения, и детей, чьи результаты будут менее предвзятыми (в программе здравоохранения с большей вероятностью участвуют родители с более высоким уровнем образования). Тщательно разработанный эксперимент позволит случайным образом выбрать участников для эксперимента.

Ищите репликацию, а не псевдорепликацию. Результаты, совпадающие во многих исследованиях, повторяемые у различных групп воздействия, с большой вероятностью будут достоверными. Результаты нескольких таких экспериментов могут быть объединены в систематическом обзоре или метаанализе, чтобы обеспечить всеобъемлющее представление темы с потенциально гораздо большей статистической мощью, чем любое из отдельных исследований. Применение воздействия к нескольким лицам в группе воздействия, скажем, к классу детей, может вводить в заблуждение, поскольку у детей будет много общих черт, помимо воздействия в рамках эксперимента. Исследователи могут совершить ошибку «псевдорепликации», если обобщат этих детей с более широкой группой людей, не имеющих общих черт. Псевдорепликация приводит к необоснованной вере в результаты. Например, псевдорепликация исследований об изобилии трески в Гранд Бэнкce в Ньюфаундленде (Канада), способствовала краху того, что когда-то было крупнейшим промыслом трески в мире (4).

Ученые тоже люди. Ученые заинтересованы в продвижении своей работы, часто из-за статуса и дальнейшего финансирования исследований, хотя иногда и из-за прямой финансовой выгоды. Это может привести к выборочному представлению результатов и иногда к преувеличению. Рецензирование также не является непогрешимым: редакторы журнала могут отдать предпочтение исследованиям с положительными результатами, а также тем, которые несут в себе какую-то новость. Многочисленные независимые публикации и источники доказательств гораздо более убедительны.

«Значение» имеет значение. Cтатистическая значимость, обозначаемая «P», является мерой вероятности того, что результат может произойти случайно. Таким образом, P = 0,01 означает, что существует вероятность 1 к 100, что то, что выглядит как эффект от лечения, могло произойти случайным образом, и на самом деле никакого эффекта не было. Как правило, ученые сообщают, что результаты значимы, когда P-значение исследования составляет меньше 0,05 (1 из 20).

Умейте отличать отсутствие эффекта от необнаруженного эффекта. Отсутствие статистически значимого результата (скажем, P-значение > 0,05) не означает, что не было никакого основного эффекта, это означает, что никакого эффекта не было обнаружено. Небольшое исследование может не обнаружить реальную разницу. Например, испытания культур хлопчатника и картофеля, которые были генетически модифицированы для производства токсина для защиты от вредных насекомых, не показали вредных воздействий на полезных насекомых, таких как опылители. Тем не менее, ни в одном из экспериментов не было достаточно больших размеров выборки, чтобы обнаружить воздействие на полезные виды (5).

Размер эффекта имеет значение. Незначительные реакции с меньшей вероятностью будут обнаружены. Исследование с множеством повторов может привести к статистически значимому результату, но иметь небольшой размер эффекта (и поэтому, вероятно, не быть значимым). Важность величины эффекта — это биологический, физический или социальный вопрос, а не статистический. В 1990-х годах редактор американского журнала «Epidemiology» просил авторов прекратить использование статистической значимости в подаваемых рукописях, потому что авторы обычно неправильно истолковывали значения критериев значимости, что приводило к неэффективным или ошибочным рекомендациям для общественного здравоохранения (6).

Актуальность исследования ограничивает обобщения. Актуальность исследования зависит от того, насколько условия, в которых оно проводится, походят на условия рассматриваемого вопроса. Например, существуют ограничения для обобщений, которые можно сделать из экспериментов на животных или в лаборатории по отношению к людям.

Ощущения влияют на восприятие риска. В широком смысле риск можно рассматривать как вероятность события, которое может произойти в определенный период времени, умноженную на последствия, если событие произойдет. На восприятие риска людьми непропорционально влияют многие вещи, в том числе редкость события, степень контроля, которым, с их точки зрения, они обладают, негативность результатов и то, является ли риск добровольным или нет. Например, люди в Соединенных Штатах в 100 раз недооценивают риски, связанные с наличием у себя дома оружия, и в 10 раз переоценивают риски, связанные с проживанием рядом с ядерным реактором (7).

Зависимость событий друг от друга влияет на риски. Можно рассчитать последствия отдельных событий, таких как сильный прилив, сильный ливень или отсутствие на работе ключевых сотрудников. Однако, если события взаимосвязаны (например, шторм вызывает прилив, или сильный дождь мешает рабочим получить доступ к участку), тогда вероятность их одновременного появления намного выше, чем можно было бы ожидать(8). Заверение кредитно-рейтинговых агентств в том, что группы субстандартных ипотечных кредитов имели чрезвычайно низкий риск неплатежеспособности, было основной причиной краха кредитных рынков в 2008 году.

Данные можно находить, а можно подбирать. Доказательства могут быть подтасованы в пользу определенной точки зрения. Чтобы интерпретировать очевидную связь между потреблением йогурта во время беременности и последующей астмой у потомства(9), необходимо знать, намеревались ли авторы проверить эту единственную гипотезу, или же это случилось в огромном наборе данных. Напротив, свидетельство о бозоне Хиггса определенно объясняло, как тяжело исследователям приходилось искать его — «эффект поиска в другом месте». Вопрос, который здесь нужно себе задать: «О чем мне НЕ говорят?»

Экстремальные измерения могут ввести в заблуждение. Любое сопоставление показателей (скажем, эффективности определенной школы) будет показывать изменчивость из-за различий во врожденных способностях (компетентность учителя), также выборки (дети могут случайно оказаться нетипичной выборкой с осложнениями), а также предвзятости (школа может находиться в области, где люди особенно нездоровы), а также ошибки измерения (результаты могут быть измерены по-разному для разных школ). Однако результирующее изменение обычно интерпретируется только как различие во врожденных способностях, игнорируя другие факторы. Это становится проблематичным из-за утверждений, описывающих экстремальный результат («удвоенный процент успеваемости») или сравнивающих величину экстремума со средним («процент успеваемости в школе «X» в три раза выше, чем в среднем по стране) или в диапазоне (разница между школами с наивысшей и наименьшей эффективностью в «Х» раз). В особенности, рейтинги частных школ редко бывают достоверными показателями эффективности обучения.

Уильям Дж. Сазерленд, профессор природоохранной биологии факультета зоологии Кембриджского университета, Великобритания.

Дэвид Шпигельхальтер, сотрудник Центра математических наук Кембриджского университета.

Марк Бургман, сотрудник Центра передового опыта анализа рисков биобезопасности, Школа ботаники, Мельбурнский университет, Парквилл, Австралия.

Источники

  1. Doubleday, R. & Wilsdon, J. Nature 485301302 (2012).
  2. Borsuk, M. E.Stow, C. A. & Reckhow, K. H. J. Water Res. Plan. Manage. 129271282(2003).
  3. Huskisson, E. C. Br. Med. J. 4196200 (1974)
  4. Millar, R. B. & Anderson, M. J. Fish. Res. 70397407 (2004).
  5. Marvier, M. Ecol. Appl. 1211191124 (2002).
  6. Fidler, F.Cumming, G.Burgman, M.Thomason, N. J. Socio-Economics 33615630(2004).
  7. Fischhoff, B.Slovic, P. & Lichtenstein, S. Am. Stat. 36240255 (1982).
  8. Billinton, R. & Allan, R. N. Reliability Evaluation of Power Systems (Plenum, 1984).
  9. Maslova, E.Halldorsson, T. I.Strøm, M.Olsen, S. F. J. Nutr. Sci. 1, e5 (2012).

Оригинал

Статья переведена специально для краудфандинговой площадки День ТВ. При копировании материалов ссылка на наш сайт обязательна.

Поделиться в социальных сетях

Оставить комментарий