Описание картинки

Предлагаю к вашему вниманию статью из APA Magazine (2020, 53(2)) о симптоматических вопросах

Специальные материалы
Вопросы-симптомы должны быть удалены: важность данных
Ричард Кейфер

Вопросы-симптомы присутствуют в форматах полиграфа с 1962 года. За это время многие из ранних предположений относительно полиграфа были подтверждены или опровергнуты исследованиями. Предположение о том, что вопросы-симптомы необходимы для учёта внешних факторов, не подтверждается исследованиями. Существуют убедительные данные, свидетельствующие о том, что вопросы-симптомы не влияют на достоверность результатов в любом формате и не способны выявлять наличие или отсутствие внешних проблем. Они не снижают и не предотвращают возникновение неопределённых результатов, а также не объясняют их появление.

Исследования показывают, что для определённой категории испытуемых включение вопросов-симптомов может привести к существенным ошибкам. Использование, инструктаж или требование включения вопросов-симптомов без подтверждающих данных и при наличии чётких доказательств их бесполезности может вызвать вопросы относительно этики и научной обоснованности тестирования на полиграфе.

Вопросы-симптомы до сих пор используются в некоторых форматах. Их включение часто ошибочно воспринимается как наличие у них существенных функций и необходимость для достижения достоверных выводов. Имеются обширные реплицированные данные, которые однозначно показывают, что включение вопросов-симптомов не имеет никакого смысла и не влияет на достоверность принятия решений.

Формулировка вопросов-симптомов была изменена с момента оригинальной разработки Клевом Бэкстером. Заметим, что в приведённых ниже вопросах-симптомах из *United States Army Military Police School* (USAMPS) Бэкстер использовал слово *"тест"* вместо *"график"*. Для ознакомления вопросы-симптомы, сформулированные USAMPS в 1981 году, выглядят следующим образом:

SYM1 (USAMPS):
"Вы полностью уверены, что я не задам вам во время этого теста вопрос, который не обсуждался ранее?"

SYM2 (USAMPS):
"Есть ли что-то ещё, о чём вы боитесь, что я могу вас спросить, хотя я и говорил, что не буду?"

Со временем формулировки были изменены, и в Federal Examiners Handbook теперь используются следующие варианты:

SYM1 (Federal Examiners Handbook):
"Вы верите, что я буду задавать только те вопросы, которые мы обсуждали?"

SYM2 (Federal Examiners Handbook):
"Есть ли что-то ещё, о чём вы боитесь, что я могу вас спросить?"

Вопросы-симптомы были разработаны Клевом Бэкстером, который пытался объяснить возможные причины ошибок и неопределённых результатов тестов и предложить решение. Одним из таких решений стали вопросы-симптомы. Два вопроса были созданы для учёта возможности того, что внешние проблемы могут быть более значимыми для испытуемого, чем те, которые проверяются. Хотя концепция выглядит убедительной на первый взгляд, научные данные не подтвердили, что эти вопросы могут выявлять или документировать наличие внешних проблем, оказывать запланированное влияние на результаты или что решение с использованием вопросов-симптомов более эффективно, чем без них.

Концепция вопросов-симптомов была принята на основе авторитета Бэкстера и его многочисленных вкладов в полиграфологию, а затем преподавалась в различных школах. Вопросы-симптомы получили некоторую анекдотическую поддержку, но это не является доказательством. Вопросы-симптомы до сих пор используются в некоторых форматах, и их включение часто ошибочно воспринимается как необходимость для достижения достоверных выводов. Обширные реплицированные данные показывают, что их включение не имеет никакого эффекта на достоверность решений.

В поддержку теории Бэкстера Кэппс пришёл к выводу, что включение двух вопросов-симптомов значительно снижает количество неопределённых результатов. Однако эти выводы никогда не подтверждались последующими исследованиями. Вместо этого последующие анализы постоянно не поддерживали валидность гипотезы о вопросах-симптомах.

В 2001 году, основываясь на накопленных данных из различных исследований, Крапохл пришёл к выводу, что нет практических эмпирических или теоретических причин для построения правил принятия решений на основе наличия или отсутствия вопросов-симптомов. Комментарии были опубликованы Клевом Бэкстером и Джеймсом Матте, критикующими методологии Крапохла, но никакие данные в поддержку их предположений не были представлены. На данный момент подавляющее большинство данных, содержащихся в метааналитических обзорах Американской ассоциации полиграфа (APA), не показывают значительного влияния на точность или частоту неопределённых результатов в форматах с вопросами-симптомами или без них.

В обширном исследовании Хонта было сделано заключение, что вопросы-симптомы не могут выявлять наличие внешних проблем и не оказывают никакого влияния на достоверность. В исследовании также создавалась группа лживых испытуемых с внешними проблемами. Хонт отметил, что вопросы-симптомы создают значительно больше ложноположительных результатов при включении в формат с правдивыми испытуемыми, которые имеют внешние проблемы. Частота внешних проблем никогда не документировалась в исследованиях. Разрешение использования вопросов, известных как неэффективные для любой цели и потенциально вредных для определённой группы испытуемых, ставит под сомнение этичность.

Не существует обоснования для использования вопросов-симптомов. Внедрение результатов исследований в практику является фундаментальным для прогресса. Когда имеются надёжные и проверенные данные, профессионалы должны быть гибкими и внедрять их в практику. Существует этическая обязанность и долг перед испытуемыми использовать лучшие проверенные методы. Этично преподавать концепцию внешних проблем, поскольку они могут существовать и влиять на достоверность исследования. Дополнительно утверждать, что вопросы-симптомы имеют ценность, — значит выходить за рамки этичных границ доказательной практики.

Студенты не должны вводиться в заблуждение относительно концепций и данных исследований, касающихся вопросов-симптомов и внешних проблем. Преподавание или требование включения вопросов-симптомов в формат подразумевает их значимость и требует данных, а не традиций. Противоречиво преподавать то, что утверждают исследования, и одновременно требовать включения вопросов-симптомов. Если в преподавании учитываются данные исследований, то для студентов возникает парадокс: вопросы-симптомы не влияют на достоверность и могут быть вредными, но их использование требуется. Преподавание или требование использования вопросов-симптомов способствует потенциальному вреду для испытуемых, вносит путаницу в понимание основных концепций полиграфа, поощряет научную критику и тратит время и деньги студентов.

APA создала для себя проблему, продолжая требовать использование вопросов-симптомов, несмотря на существенные доказательства ложности гипотезы о них. Продолжающееся reliance на гипотезы, известные как ложные, является признаком псевдонауки. Более того, вопросы-симптомы могут быть провокационными или запутывающими и, следовательно, проблемными для некоторых испытуемых. Решением этой проблемы должно стать разрешение удаления вопросов-симптомов из всех форматов, где они традиционно требуются. Стандарты практики Американской ассоциации полиграфа позволяют использование различных форматов, связанных с валидированной техникой сравнительных вопросов. APA должна поощрять этичное поведение и доказательную практику со стороны своих членов. Продолжение использования вопросов-симптомов неизбежно станет темой для обсуждения.

Выводы

Существуют убедительные и валидные данные исследований, свидетельствующие о том, что вопросы-симптомы неэффективны и потенциально вредны. Возможные проблемы с ответственностью могут возникнуть в зависимости от последствий ошибок. Развитие любой профессии зависит от валидизации её процессов через данные исследований. Продолжение преподавания или требования включения вопросов-симптомов в любой формат этически сомнительно, и необходимо уделять усилия изменению существующих практик для избежания зависимости от ложных гипотез, включая вопросы-симптомы.