Специальные темы

Ответ на критику О'Берка в отношении метааналитического обзора APA и одностороннее заявление о невалидности DLST и USAFMGQT для многовопросного скрининга

В данном выпуске Пэт О'Берк опубликовал статью-мнение, критикующую метааналитический обзор (APA, 2011) валидированных техник полиграфа и выразившую его односторонний вывод о том, что два широко используемых формата теста с вопросами сравнения (CQT) — Тест направленной лжи для скрининга (DLST) и Модифицированная общая техника вопросов ВВС США (USAFMGQT) — не являются валидными для многовопросного скрининга на полиграфе. Большая часть его аргументации, по всей видимости, основывается на ряде концептуальных недопониманий. Его критика метааналитического обзора также служит аргументом в поддержку Серийного тестирования по одной проблеме (SSIST; О'Берк, Вестерман и Гудсон, 2022), которое он активно продвигает в своей учебной деятельности по полиграфологии, несмотря на то что в настоящее время отсутствуют опубликованные эмпирические доказательства, указывающие на повышение точности такого метода.

О'Берк неверно утверждает, что отчет APA (2011) диктует Стандарты практики APA (SoP). На самом деле, Стандарты практики APA, начиная с 2007 года, включали положения, требующие использования валидированных техник полиграфа, вступавшие в силу с 2012 года. Метааналитический обзор валидированных техник был подготовлен в 2011 году — после принятия Стандартов (SoP), но до даты их внедрения в 2012 году. Цель метааналитического обзора четко сформулирована в самом отчете. Он не является официальным списком одобренных APA методов и не представляет собой исключительный каталог валидных методов полиграфологии. Полевые специалисты и другие лица, интересующиеся валидностью полиграфа, не обязаны полагаться только на него. Скорее, метааналитический обзор предлагается как доступное решение для тех, кто не желает самостоятельно изучать и суммировать весь массив опубликованной литературы по вопросам валидности полиграфа.

Хотя некоторые специалисты могли бы предпочесть официальный список «одобренных APA» или «валидированных APA» техник, метааналитический обзор не является официальным списком. Он остается научным исследовательским отчетом, а не инструментом политики. Попытка превратить его результаты в формальный список одобренных методов создала бы риск политизации вопросов научной валидности и смещения дискуссии из плоскости научных соображений в плоскость вопросов политики и соответствия стандартам.

По этой причине комитет ad-hoc 2011 года (в котором автор данной статьи выступал в качестве основного исследователя) специально сформулировал метааналитический обзор как попытку помочь практикующим специалистам и другим заинтересованным лицам понять сложный массив информации о валидности полиграфа, не пытаясь при этом обесценить или предвосхитить другие усилия по обзору или обобщению этой литературы. Цель состояла в том, чтобы сохранить дискуссии о валидности полиграфа как вопрос научного консенсуса — с присущими ему неоднозначностью, неопределенностью и неизвестными факторами — и избежать их превращения в чисто политический консенсус, который может быть ошибочным, если он не подкреплен эмпирическими данными. APA никогда не публиковала заявлений о том, что метааналитический обзор 2011 года является чем-то большим, чем информационный материал.

Несмотря на это различие, О'Берк относится к метааналитическому обзору так, как если бы он был программным документом. Это различие крайне важно. Научный прогресс зависит от признания и работы в рамках наших текущих знаний, тогда как разработка политики часто требует действий так, будто достаточно четкие ответы уже существуют. Политизация научных вопросов может снизить немедленную неопределенность относительно того, что делать, но она также может препятствовать научному прогрессу, формируя ожидания соответствия стандартам и поощряя допущения о наличии знаний там, где их еще нет. Метааналитический обзор был опубликован для содействия дискуссии о валидности и прямо не предназначался в качестве политики APA или предписательного списка одобренных техник. Он не препятствует другим исследователям изучать и обобщать научную базу валидности полиграфа.

Поскольку валидность теста является сложной темой, метааналитический обзор неизбежно затрагивал такие концепции, как чувствительность, специфичность, частота безрезультатных (inconclusive) ответов, ошибки ложноположительных и ложноотрицательных результатов, надежность и доверительные интервалы. Исследования, включенные в отчет, должны были быть подкреплены опубликованными и реплицированными исследованиями. На практике это означало, что для каждой названной техники полиграфа требовалось как минимум два исследования (первоначальная публикация и ее репликация).

Кроме того, сложилась практика, которую поддерживает почти каждая аккредитованная программа обучения полиграфологов: обсуждение форматов теста с вопросами сравнения (CQT) в качестве именованных техник. Игнорирование этой традиции могло бы привести к созданию научно информативного отчета, который имел бы ограниченную практическую ценность для полевых экспертов. Соответственно, метааналитический обзор стратегически использовал именованные форматы CQT, используя термин «техника» для обозначения определенной последовательности тестовых вопросов в сочетании с валидным методом анализа данных. Такой подход учитывал как традиционную полевую практику, так и тот факт, что валидность теста зависит как от сбора пригодных для использования данных (функция последовательности вопросов и процедуры тестирования), так и от применения валидированного метода анализа этих данных.

Более абстрактное научное обсуждение могло бы рассматривать CQT как семейство родственных форматов, имеющих общие структурные и теоретические особенности (например, наличие контрольных и релевантных вопросов). Преимуществом такой альтернативной формулировки было бы то, что она могла бы побудить практиков более четко задумываться о допущениях, касающихся контекста направления на проверку (скрининг против диагностики), а также о независимости или зависимости тестовых вопросов друг от друга. Однако комитет решил, что такая абстракция будет иметь ограниченную ценность для многих практиков, поэтому в метааналитическом обзоре была сохранена традиция использования именованных техник. Одним из практических преимуществ именованных техник является упрощение обучения и принятия решений в полевых условиях, поскольку каждый формат обычно ассоциируется с привычным сценарием использования (скрининг против диагностики, одна проблема против нескольких проблем).

Во время подготовки метааналитического обзора APA (2011) стало очевидно, что ряд именованных техник, широко используемых на практике, никогда не описывались в опубликованных исследованиях. К ним относятся USAFMGQT (одна из самых распространенных техник в США и мире), техника Backster You-Phase (фундаментальный метод, повлиявший на множество последующих методов) и техника Federal You-Phase (широко используемый формат для уголовных расследований). В то же время объем опубликованных исследований валидности полиграфа был относительно невелик, а качество некоторых опубликованных данных не соответствовало требованиям метаанализа. Это создало дилемму. Отчет, из которого были бы исключены некоторые наиболее широко используемые техники, мог привести к тому, что читатели сделали бы вывод об их невалидности только на основании того, что они отсутствуют в списке «валидированных» форматов, несмотря на то что они имеют практически идентичные теоретические основы с другими включенными в обзор CQT. Такой вывод, вероятно, усилил бы путаницу относительно того, проводят ли эксперты валидные исследования, и мог бы подорвать более широкую цель — углубление понимания валидности распространенных техник полиграфа.

Другая дилемма была связана с ограниченной доступностью необработанных данных обследования и баллов по отдельным вопросам в противовес обобщенным результатам в опубликованных отчетах. Чтобы решить эту проблему, члены комитета предложили помощь сторонникам нескольких именованных техник, которые хотели бы подготовить или реплицировать публикуемую информацию о величине эффекта точности теста, включая форматы DLST, USAFMGQT, Backster You-Phase и Federal You-Phase. Было подготовлено и представлено на публикацию несколько мелкомасштабных проектов по демонстрации точности. Учитывая, что все это являются техниками CQT, основанными на одной теоретической базе, неудивительно, что статистически значимых различий в эффектах точности между именованными форматами, включенными в метааналитический обзор, обнаружено не было.

С точки зрения полевой практики наиболее важным различием между способами использования полиграфа является то, является ли проверка диагностической или скрининговой. Диагностические проверки проводятся при наличии известной проблемы (инцидент или обвинение). Скрининговые проверки используются для выявления возможных проблем при отсутствии какой-либо известной проблемы. Среди полевых экспертов диагностические проверки иногда называют удобными терминами, такими как «специфические», «событийные» (event-specific) или тесты «по одной проблеме». Некоторые из этих терминов могут быть двусмысленными в отношении того, относятся ли они к скринингу или диагностике. Скрининговые проверки иногда называют просто «скрининговыми» тестами, и они часто формулируются как многовопросные (multiple-issue) тесты, предположительно для максимизации чувствительности к широкому спектру возможных проблем. Использование термина «скрининг» в таком ключе также двусмысленно в отношении того, является ли проверка одновопросной или многовопросной.

На самом деле, как знает О'Берк, некоторые скрининговые обследования проводятся как тесты с одной проблемой. Однако они остаются скрининговыми, потому что проводятся в отсутствие конкретного обвинения или инцидента. Они не являются диагностическими проверками в традиционном смысле. Определяющей характеристикой всех скрининговых тестов, будь то одновопросные или многовопросные, является отсутствие какой-либо известной проблемы (например, инцидента, обвинения или симптомов).

Дополнительная путаница возникает из-за того, что Стандарты практики APA используют другую классификацию: «доказательные» проверки (результат которых предназначен для использования в качестве доказательства в судебном процессе), «парное тестирование» (слепые независимые проверки двух противоборствующих свидетелей) и «расследовательские» проверки (проводимые в контекстах расследования, где результат не предназначен для судебного процесса как улика). Полиграфы при уголовных расследованиях часто считаются диагностическими. Парное тестирование встречается относительно редко.

«Расследовательские» проверки являются самой широкой категорией и могут включать в себя как событийные проверки, не предназначенные для суда, так и скрининговые проверки, проводимые в рамках проверки биографических данных (vetting) или пост-осудительного надзора (например, тестирование кандидатов в полицию). На практике большая часть того, что называют «скрининговым полиграфом», подпадает под категорию расследовательских и проводится с использованием многовопросных форматов.

До публикации метааналитического обзора APA (2011) среди практиков чаще обсуждалось, какая именованная техника является «лучшей». [Исторически некоторые программы обучения с проприетарными именованными техниками стремились подчеркивать преимущество своих собственных форматов. В отличие от них, научные мыслители вне профессии полиграфологов, казалось, мало интересовались тонкими различиями между форматами CQT]. Также существовало опасение по поводу того, какие техники будут «включены» или «исключены» из воспринимаемого списка одобренных методов, даже если обзор не задумывался как такой список. Поэтому комитет постарался быть максимально инклюзивным, признавая, что отчет не будет окончательным словом в вопросе валидности полиграфа.

После публикации у полевых экспертов появился существенный справочный материал, который помогает прояснить, что между форматами CQT не было продемонстрировано значительных различий в валидности. Дебаты о «лучшей» технике утихли и во многих профессиональных кругах сменились дискуссиями о том, какие форматы могут быть более оптимальными в конкретных контекстах. Эти дискуссии стали чаще опираться на опубликованные данные о специфичности, чувствительности, частоте ложноположительных, ложноотрицательных и безрезультатных ответов. Еще одним наблюдаемым результатом является то, что дискуссии о точности полиграфа внутри профессии теперь меньше расходятся с опубликованными научными обзорами, проведенными за пределами области полиграфологии.

Несмотря на свои ограничения, метааналитический обзор APA (2011), с точки зрения автора данной статьи, достиг нескольких важных целей. Он помог обучить специалистов по полиграфу статистическим и концептуальным вопросам, связанным с валидацией тестов, консолидировал значительный объем информации о существующих форматах CQT и способствовал более последовательному и эмпирически обоснованному обсуждению валидности теста как внутри профессии, так и в диалоге с внешними научными обзорами.

Прошло уже более десяти лет со дня публикации отчета APA (2011), а объем новых исследований валидности полиграфа остается ограниченным. Предстоит еще много работы. Как это часто бывает, ретроспективный взгляд приносит ясность, и практически неизбежно, что некоторые вещи были бы сделаны иначе, если бы процесс происходил сегодня. Именно в этом контексте О'Берк теперь утверждает, что DLST и USAFMGQT не являются валидными для многовопросного скрининга. Вместо этого он продвигает серию одновопросных скрининговых тестов (SSIST) как свое предпочтительное решение.

Важно отметить, что О'Берк не цитирует эмпирические исследования, демонстрирующие повышение точности при использовании SSIST, и такое преимущество еще не было установлено в опубликованной литературе. Более того, он не рассматривает аналитические работы, показывающие отсутствие роста общей точности для SSIST (Barland, Honts & Barger, 1989). Он не учитывает опубликованные анализы, указывающие на то, что SSIST будет подвержен эффектам множественности и завышенным показателям ошибок, аналогичным тем, которые характерны для многовопросных форматов (Nelson, 2023; Nelson, 2024). Наконец, он не признает, что критика NAS (2003) в отношении использования полиграфа в контекстах скрининга с низкой базовой частотой событий применима к SSIST в такой же степени, как и к многовопросным скрининговым тестам. Возможно, не менее важно то, что он игнорирует человеческий фактор, такой как внимание и утомляемость — потенциальную проблему как для экспертов, так и для испытуемых, — которые могут повысить риск процедурных или тестовых ошибок при проведении нескольких серий тестов последовательно с каждым испытуемым.

О'Берк также утверждает, что APA должна предписать метод «последовательных этапов» (successive-hurdles approach) для скрининга, игнорируя опубликованную информацию о потенциальных трудностях этого метода и стратегий множественного тестирования (Nelson, 2016; Nelson, Kircher & Handler, 2018). Эти трудности, в дополнение к кумулятивным эффектам ошибок, включают как сложность вычисления реалистичных комбинированных показателей точности, так и потенциал снижения точности в некоторых обстоятельствах, когда последующие результаты теста принимаются, если они отличаются от первоначального результата. Он также игнорирует тот факт, что медицинская модель «последовательных этапов» предполагает использование различных модальностей тестирования; применение одного и того же метода (полиграф) и зачастую одного и того же эксперта на последовательных этапах может увеличить вероятность повторения ошибки, а не ее исправления. Более того, О'Берк, по-видимому, предполагает наличие единой, узко определенной модели последовательных этапов. Он цитирует Краполя и Стерна (2003), а затем жалуется, что наблюдает работу ведомств с различными методами последовательных этапов. Он не учитывает, что разные ведомства — с разными ресурсами, пулами кандидатов, целями управления рисками и задачами миссии — могут обоснованно принимать различные модели как оптимальные для своих обстоятельств. Его аргумент подразумевает универсальное решение («один размер подходит всем»), которое может быть нереалистичным или нежелательным. Он не признает, что последующие действия после первоначального результата полиграфа могут включать ряд мер: интервьюирование по результатам теста, дополнительную проверку биографических данных или дополнительные тесты на достоверность с использованием методов, отличных от традиционного полиграфа. Некоторые ведомства могут даже прийти к заключению (с вполне обоснованными доводами), что одноэтапного многовопросного полиграфа достаточно для их целей. Требование ко всем ведомствам принять идентичную модель последовательных этапов может не отражать потребности или ограничения различных структур.

Критикуя метааналитический обзор APA (2011), О'Берк утверждает, что обнаружил математические ошибки, но не объясняет, в чем они заключаются. Он не приводит пересмотренных вычислений, альтернативных методов анализа, альтернативных результатов или альтернативных референтных моделей. Он выявляет небольшое количество публикационных или редакционных ошибок, которые легко исправить. Большая часть его критики не является оригинальной; сам отчет 2011 года обсуждает ограничения, связанные с малыми размерами выборки, использованием методов Монте-Карло, ролью основного исследователя и другие вопросы. Изучение последующих разделов метааналитического обзора дает более четкое представление об ограничениях APA (2011), чем статья-мнение О'Берка. Его аргументация строится на нескольких ошибках, начиная с допущения, что метааналитический обзор функционирует как форма программного документа. Его статья также содержит ошибки в цитировании, включая неоднократное неверное приписывание утверждений из отчета Шоу (Shaw, 2011) самому метааналитическому обзору.

Там, где О'Берк пытается комментировать статистические вопросы, его дискуссия носит преимущественно повторяющийся характер, иногда ее трудно проследить, а иногда она неверно направлена. Если и есть здесь центральный тезис, то он заключается в том, что ручная обработка результатов включает человеческий фактор (вариативность). Это наблюдение никоим образом не специфично для DLST, USAFMGQT, метааналитического обзора или SSIST. Напротив, оно подчеркивает потенциальную ценность методов автоматизированного анализа данных.

Несмотря на вышеуказанные замечания к статье О'Берка, многие идеи и гипотезы не лишены ценности, и SSIST может предложить преимущества в определенных обстоятельствах. Например, опубликованные анализы указывают на потенциал снижения частоты ложноотрицательных результатов. Новые гипотезы и предложения всегда должны приветствоваться, но они должны подвергаться эмпирическому тестированию, прежде чем выдвигаться в качестве обязательных требований политики. В противном случае быстрое внедрение новых предложений несет риск создания видимости того, что требования политики формируются в пользу одного предпочтительного решения в ущерб другим жизнеспособным вариантам.

На данный момент опубликованные анализы указывают на то, что SSIST может быть связан с более высокой частотой безрезультатных и ложноположительных результатов. Текущие публикации не подтверждают гипотезу о том, что SSIST повышает общую точность. На практике профессия полиграфологов сталкивается с бóльшими операционными трудностями и внешней критикой в отношении ложноположительных результатов, чем в отношении ложноотрицательных. Если бы использование SSIST было закреплено в политике APA, это могло бы стать ценным подходом для некоторых программ, но существует риск того, что для других это окажется экономически обременительным и процедурно неэффективным — при отсутствии ожидаемого эффекта повышения точности при множественном тестировании, как обсуждалось Хэндлером (2016) и Нельсоном и Тернером (2017).

Для ясности: опасение, выраженное здесь, заключается не в том, что SSIST должен быть отвергнут в принципе, а в том, что его продвижение опережает наличие доступных эмпирических доказательств. Возможно, будущие исследования выявят обстоятельства, при которых SSIST будет предлагать значительные преимущества в точности, стоимости или операционной полезности. Если такие доказательства появятся, SSIST должен быть оценен на тех же эмпирических и концептуальных условиях, что и любой другой метод скрининга, и внедрен тогда, когда он наглядно улучшит результаты полевой практики.

Резюмируя: статья О'Берка поддерживает часто цитируемые выводы NAS (2003) относительно адекватности полиграфа для событийных проверок и его ограничений для скрининга, фокусируясь на опасениях по поводу низкой базовой частоты актов шпионажа и неизбежного потенциала ошибок в любом научном тесте. Его обеспокоенность минимальной доказательной базой для DLST и USAFMGQT указывает на необходимость проведения большего количества исследований всех техник и всех аспектов практики полиграфологии. Однако его акцент на SSIST как решении игнорирует тот факт, что проблемы низкой априорной вероятности и статистической множественности применимы к SSIST в такой же степени, как и к многовопросным форматам. Следовательно, любая критика многовопросного скрининга, основанная на проблемах базовой частоты и кумулятивной ошибки, будет иметь сопоставимую силу и в отношении SSIST.

Точка зрения О'Берка о том, что опубликованных доказательств недостаточно для подтверждения валидности DLST и USAFMGQT, плохо сочетается с его поддержкой SSIST, несмотря на отсутствие на сегодняшний день опубликованных доказательств того, что SSIST повышает точность или валидность. Будем честны: больше полиграфологических исследований и больше ресурсов для высококачественных исследований желательны; профессия должна приветствовать дополнительные исследования валидности DLST и USAFMGQT — в дополнение ко всем остальным техникам и аспектам тестов. Но его статья не дает новых эмпирических данных. Она не способствует пониманию валидности полиграфа или уменьшению существующих неопределенностей, а вместо этого может усилить текущую путаницу в этих вопросах. В SSIST может заключаться потенциальная ценность, но внедрение политических решений должно основываться на эмпирических данных, а не на создании путаницы и сомнений в отношении установленных практик. Как и всегда, требования политики будут иметь наибольшую долгосрочную ценность, если они останутся привязанными к доказательствам.

Как и любое метааналитическое или статистическое издание, отчет APA (2011) представляет собой несовершенный и ограниченный во времени снимок доступных данных. Ни один отчет не может полностью охватить все нюансы развивающейся научной литературы. Надлежащим ответом является не отношение к нему как к закону или ожидание его непогрешимости, а использование его в качестве одной из эмпирических точек отсчета, которую необходимо обновлять, уточнять или дополнять по мере появления новых высококачественных исследований.