Описание картинки

С разрешения Поповичева С.В. выкладываю материал основанный на его докладе, который он сделал в 2025 на году на конференции "Легенда", проходившей в Москве. Материал получен из доклада путём резюмиования и "причёсывания" с использованием ИИ, изложен кратко и тезисно. Доклад длился пять часов, и выложить его целиком весьма затруднительно. Но основные принципиальные моменты должны увидеть свет. Нахожу это важным, так как исследование точности полиграфных тестов, их валидация это фундамент на котором стоит полиграфология...да и безнес основанный на полиграфе. Если клиенты будут уверены, что точность теста "никакая", или же на самом деле абсалютно не известна, то не прекратися ли "ручеёк заказов" к полиграфологу? Метаанализ это безусловно один из столпов, которые дают нам уверенность в том, что мы делаем. И казалось бы по этой причине Метаанализ должен быть вне критики и неприкосновенен. Но на самом деле это не так. Кривой ...столп...рано или поздно рухнет, поэтому лучше самим занятся его ремонтом, его фундаменом, не доводя до крайних проблем...

Доклад С.В. Поповичева
Введение и методологическая база

Проблема точности полиграфных тестов является комплексной и многогранной, не ограничивающейся рамками одного методического подхода. Для наглядного анализа данной проблемы в настоящем докладе выбраны исследования, связанные с тестами системы Юта (UTA). Данные исследования рассматриваются не как исчерпывающий перечень доказательств точности полиграфа в целом, а как репрезентативная выборка для выявления системных методологических особенностей.

В основе анализа лежат два ключевых положения:

  1. Идентификация и критическая проверка источников данных, на которые опираются общепризнанные оценки точности. Необходимо детально обосновывать используемую базу данных и проводить тщательный отбор информации.
  2. Выявление признаков манипуляции данными. В полиграфологической практике часто наблюдается тенденция к упрощению сложных результатов (например, объединение результатов различных тестов в один показатель), что искажает фактическую информационную ценность.

Для получения объективной картины необходимо обращаться к первоисточникам. Критика часто основывается на доверии к вторичным интерпретациям, тогда как научный подход требует изучения первичных данных, даже если это сопряжено с существенными временными и техническими затратами. Важно учитывать, что данные, принимаемые за «первоисточники», зачастую являются уже теоретически обработанными итерациями.

Обзор метаанализа и критические замечания

В 2011 году в журнале Polygraph был опубликован метаанализ, собравший значительный объем исследований для обобщения данных о точности тестов. Этот инструмент значительно упрощает получение представления о методологии, однако он требует тщательной верификации.

Например, при поиске данных об эффективности тестов на шпионаж и диверсии (автор Шейн Рид) необходимо обращаться к официальным публикациям в журнале «Психофизиология» за 1994 год или к отчетам Полиграфного института Министерства обороны США. В современных условиях доступ к этой информации затруднен из-за необходимости перевода и анализа специфических документов, что делает работу экспертных групп по переводу метаанализа крайне важной для русскоязычного сообщества.

В рамках метаанализа выделяются три основных методических направления тестов Юта:

  1. Юта — Канада;
  2. Юта — вопросы вероятной лжи;
  3. Юта — вопросы управляемой лжи (включая версию Канадского полицейского колледжа).

Анализ селективного подхода к данным

При изучении собранных исследований возникли вопросы относительно полноты выборки. В частности, рассмотрено исследование группы Раскина (1997 год) по сравнению физиологических реакций при использовании формата теста Юта.

В данном исследовании для контроля использовались четыре типа вопросов: управляемая ложь (ВУЛ), тривиальные вопросы ВУЛ, вопросы вероятной лжи и релевантно-нейтральные вопросы. Несмотря на идентичные условия эксперимента в четырех группах, в метаанализ были включены только данные по вопросам РН (релевантно-нейтральных). Исключение остальных данных при одинаковых условиях эксперимента вызывает обоснованные сомнения в объективности и репрезентативности полученных выводов.

Научная доказательность и фактор предвзятости

Научная доказательность — величина относительная и зависит от требований аудитории. В юридической практике США вопрос валидности полиграфа регулируется стандартом Дауберта (Daubert Standard). Судебные разбирательства по данному вопросу требуют раскрытия всех факторов, влияющих на результаты исследования.

Анализ судебных прецедентов показывает, что экспертные заключения часто подвергаются критике из-за потенциальной предвзятости исследователей. Например, в ряде дел поведение экспертов оценивалось как небеспристрастное из-за их прямой зависимости от признания полиграфа как метода (коммерческий фактор). Это подтверждает тезис о том, что личная заинтересованность может существенно влиять на интерпретацию точности тестов.

Точность полиграфного теста является маркетинговым фактором в рыночной среде. Компании часто заявляют о достижении 90–100% точности для привлечения клиентов. Однако необходимо различать коммерческие заявления и результаты независимых исследований. Например, исследование Национального исследовательского комитета по заказу Департамента энергоресурсов США (2003 г.), длившееся 19 месяцев, отметило, что качество многих материалов было недостаточно высоким, а показатели точности характеризуются как «лучше плохого, но хуже хорошего». Комиссия подчеркнула необходимость полного устранения фактора предвзятости при проведении исследований.

Методологический разбор тестов Юта — Канада

При анализе конкретных статей в метаанализе выявлено несколько несоответствий:

  1. Исследование Хонтса (1985 г.), послужившее базой для анализа, фактически базируется на структурах теста Бакстера. В диссертации Хонтса четко прописано использование структуры Бакстера с добавлением нескольких пар контрольных вопросов. Метаанализ интерпретирует это как тест Юта — Канада, хотя фактическая структура вопроса остается Бакстеровской.
  2. Исследование Дрисколл, Хонтса и Джонса (публикация в Police Science and Crime Management) характеризуется отсутствием слепых оценок и использованием специфической выборки ветеранов реабилитационных центров. В данном исследовании не было выявлено прямой связи с методологией Канады, а заявленная 100-процентная точность была классифицирована как статистический выброс.

Таким образом, критический анализ метаанализа показывает необходимость более тщательного подхода к верификации каждой статьи, входящей в выборку, особенно в части соответствия заявленной методологии фактической структуры тестовых вопросов.

Анализ данных и критика метаанализа точности полиграфных тестов
Источники и контекст исследования Хонтса

Основным объектом анализа является статья «Разработка критериев и валидности тестов контрольных вопросов в полевых условиях», опубликованная в журнале «Общая психология» в 1996 году. Данный материал базируется на более раннем исследовании, опубликованном в журнале «Полиграф» в 1998 году, которое, в свою очередь, основывается на работе Хонтса, проведенной в 1994 году.

Информационные источники по данному исследованию доступны официально, включая правительственные ресурсы Канады и данные Канадского полицейского колледжа. Анализ данных показывает, что за шесть лет до публикации работы Хонтса, в 1980-х годах, лаборатория Д. Раскина в Университете Юта провела масштабное исследование точности полиграфа в ходе криминальных расследований по гранту. Хонтс являлся участником данного проекта.

В рамках исследования были запрошены материалы 200 полиграфных проверок у Секретной службы США (80 подтвержденных причастностей, 80 — непричастностей, 40 — без подтверждения для контрольной группы). Позже доступ был получен к полутора тысячам первичных материалов. После первичного компьютерного фильтра было выделено 371 дело, которые были подвергнуты более тщательному ручному анализу в штате Юта. В итоге осталось 119 проверок с подтвержденными результатами. Подверженность определялась двумя факторами: наличие признания и наличие дополнительных доказательств (возврат имущества, данные экспертизы).

Сравнительный анализ исследований Раскина (Raskin)

В параллели к работам Хонтса следует рассмотреть исследование группы экспертов под руководством Дэвида Раскина. В данном исследовании три группы специалистов (адвокаты, полицейские детективы и неспециалисты) анализировали материалы уголовных дел на предмет оценки причастности. Результаты показали, что квалификация экспертов не влияла на точность определения: адвокаты и детективы определяли причастность примерно одинаково с группой неспециалистов. При этом существенной разницы в точности в зависимости от уровня оплаты участия экспертов выявлено не было. Общая точность определения по анализу материалов дела оказалась низкой.

Сравнивая масштабы исследований:

1. Группа Раскина (в рамках фильтрации Юта-Канада): из 1500 дел было отобрано 119 с четко подтвержденными выводами. 2. Исследование Хонтса: был запрошен массив в 200 дел (по 75 в каждой группе). В то время как у Раскина данные фильтрации были крайне жесткими, у Хонтса из 41 полиграфной проверки подтвержденными оказались лишь 13–15 случаев.

В работе Хонтса значительная часть данных (порядка двух третей) не имела четкого подтверждения причастности или непричастности. Для формирования базы исследования Хонтс проводил экспертный анализ материалов дел, выставляя баллы доказательности от 1 до 7. По итогам анализа из 41 проверки было отобрано 32 с оценкой выше 2 баллов, которые были приняты в качестве «базовой истины» (baseline). Данные соответствия оценивались двумя полиграфологами: автором исследования и оригинальным специалистом из полицейского колледжа.

Критика методологии метаанализа

При анализе метаанализа выявлено несколько несоответствий:

  1. Статус подверженности: Хонтс указывал на наличие «некоторого независимого подтверждения» для 32 случаев (что фактически относится к 13–15 делам с признанием), в то время как составители метаанализа интерпретировали это как полную подверженность всех 32 дел.
  2. Слепая оценка: В оригинальном исследовании Хонтса точность определялась оригинальным полиграфологом, однако в метаанализе эти данные были представлены как результаты слепой оценки, что искажает достоверность интерпретации.

Анализ методик и оборудования

Исследование структуры теста «Юта-Канада» (Utah-Canada) показывает, что оно не является уникальной методикой, а представляет собой вариант системы контрольных вопросов федерального исполнения. В канадской практике подготовки полиграфологов в 1991 году основой являлись методы Полиграфного института Министерства обороны.

При анализе литературы выявлено, что структура теста Раскина имеет сходство с методик Бакстера и AF MJQT. Однако при сопоставлении данных различных исследований возникают вопросы к достоверности заявленных показателей точности. Например, в работе Раскина 1978 года сообщалось о точности 96–98%. Важно отметить, что этот показатель был получен на основе трех предъявлений одного теста из семи проведенных; при расчете по всем предъявлениям общая точность снижается.

Сравнительная характеристика исследований Раскина, Яковина и Патрика

Анализ позволяет провести параллели между работами Д. Раскина, В. Яконо и К. Патрика:

  • Общность условий: Исследования проводились в одной и той же тюрьме (Британская Колумбия), на аналогичных популяциях заключенных с использованием схожих сценариев вымышленных преступлений (кража 20 долларов).
  • Мотивация субъектов: В исследованиях Якона и Патрика использовалась жесткая мотивация в сторону «непричастности» с угрозой раскрытия имен тех, кто не пройдет проверку.

Статистические показатели точности:

  1. Раскин: Выявление виновных — 87,5% (без неопределенности); общая точность — 95,5%.
  2. Якона: Выявление виновных — 91% (без неопределенности); общая точность — 75%.
  3. Патрик: Выявление виновных — 87% (без неопределенности); выявление невиновных — 58% (в результате слепой оценки полиграмм Якона); средневзвешенная точность — 73%.

Методологические выводы: Чувствительность и Специфичность

Для корректной интерпретации данных точности необходимо разделять общие показатели на компоненты чувствительности и специфичности.

  • Чувствительность — вероятность того, что причастный субъект выдаст реакцию, соответствующую его статусу.
  • Специфичность — вероятность того, что непричастный (правдивый) субъект выдаст реакцию, соответствующую его статусу.

Использование общих показателей точности без детализации по этим критериям может приводить к искажению результатов оценки эффективности полиграфных методик. Исходя из представленных данных, наличие высоких показателей общей точности не всегда подтверждает высокую специфичность теста в конкретных условиях исследования.

Методологические аспекты анализа точности полиграфных тестов: терминология, прогностическая вероятность и критика включения данных в метаанализ

В ходе анализа метаанализа точности американской ассоциации полиграфологов следует обратить внимание на терминологические нюансы. В метаанализе применительно к каждой методике специфичность и чувствительность рассчитываются по формулам, отличным от классических определений, приведенных в терминологическом словаре под редакцией Крэппола и Хэндлера.

В работах Крэппола и Хэндлера из определений чувствительности и специфичности исключается фактор неопределенности (uncertainty). Это приводит к существенным расхождениям в показателях: например, при фактической чувствительности в 80% расчетный показатель D-correct может составлять 100%. Важно учитывать, что именно эти формулы используются в метаанализе для расчета итоговой общей точности. Поскольку данные показатели участвуют в формировании финальных результатов, необходимо понимать специфику используемых математических моделей.

Текст по ширине (выделите и нажмите кнопку)

Отличительным аспектом является разница между чувствительностью/специфичностью и прогностическими вероятностями. Чувствительность и специфичность являются преимущественно характеристиками для разработчиков методик. Для практического применения (анализа полученной полиграммы) критически важными являются прогностические вероятности: вероятность того, что реакция действительно принадлежит лгущему субъекту, и вероятность того, что она принадлежит правдивому субъекту.

Эти две величины принципиально различны. В одной ситуации (заведомый статус субъекта) мы определяем вероятность получения определенных реакций при известных условиях (чувствительность/специфичность). В другой ситуации (анализ полиграммы с неизвестным статусом) мы оцениваем, насколько полученные реакции характеризуют причастность или непричастность (прогностическая вероятность). Несмотря на различия, в рамках хорошо сбалансированных тестов эти показатели могут находиться в одном числовом диапазоне. Таким образом, имея данные о чувствительности и специфичности, можно косвенно прогнозировать прогностические вероятности.

Рассмотрим пример оценки батареи тестов формата LSI (релевантно-нейтральные вопросы). В ситуации, когда статус проверяемого заранее известен как «непричастный» (например, при отсутствии фактического совершения преступления), мы можем рассчитать вероятности реакций на релевантные вопросы. Таблица оценки вероятностей получения конкретных рангов неосведомленным тестировщиком фактически представляет собой специфичность для батареи тестов формата LSI.

При анализе точности тестов Юта (Utah) в метаанализе наблюдается избирательный подход к включению данных. В исследование включено крайне мало работ, при этом ряд значимых исследований были намеренно исключены. Анализ показал, что данные исследования Кирчера («Человек против компьютера»), а также отчеты Министерства обороны США за 2001 и 2010 годы, содержат достаточную фактуру (данные в человеках, описанные структуры тестов), позволяющую произвести самостоятельный расчет точности. Однако они были исключены из метаанализа по формальным признакам: например, из-за использования системы оценки, ограниченной компьютерными алгоритмами, или из-за отсутствия релевантно-нейтрального формата вопросов в пользу методик с управляемой ложью.

История развития структуры теста Юта также требует внимания. Методика эволюционировала от структур Бакстера (Baxter Zone Comparison) к федеральной структуре и далее к структурам Раскина, Кирчера и Хонтса. Важно учитывать исторический контекст формирования этих структур, так как это влияет на интерпретацию данных о точности в современных исследованиях.

Особого внимания заслуживает терминология контрольных вопросов прямой лжи (Direct Lie Control Questions — DLCQ) и вероятной лжи (Probable Lie Control Questions — PLCQ).

  1. В вопросах с вероятной ложью проверяемый подвергается психологическому манипулированию с целью подтолкнуть его к ответу «нет».
  2. В контрольных вопросах прямой лжи проверяемый получает прямую инструкцию дать неверный (отрицательный) ответ.

Различие в процессах управления поведением субъекта определяет методическую специфику этих вопросов. В современных исследованиях вопросы управляемой ложи часто упрощаются, что может влиять на интерпретацию результатов валидации методик. Итоговый анализ показывает, что средневзвешенная точность теста Юта по совокупности исследований составляет около 88,8%. С точки зрения классификации Американской ассоциации полиграфологов (AAPE), это соответствует категории доказательных техник. Однако необходимо критически оценивать маркетинговую составляющую «доказательности» методов и фокусироваться на методологической чистоте включенных в метаанализ данных, учитывая возможные искажения из-за избирательного подхода к выборке исследований.

Анализ точности полиграфных тестов: критика методологии и интерпретации данных
Экспериментальные условия исследования

В рамках исследования рассматривались группы проверяемых, получавших разную обратную связь по результатам S-теста. Первая группа получала прямую информацию о наличии признаков лжи, вторая — не получала никакой информации. Целью эксперимента было изучение влияния типа вопроса (вероятная ложь против прямой лжи) на итоговую точность теста в различных условиях фиксации реакции.

Анализ распределения проверок и экспертной оценки

При анализе данных были выявлены специфические особенности распределения проверок между исследователями. В частности, в ряде работ проверки распределялись неравномерно: аспирант выполнил по 12 проверок на каждую группу, в то время как опытный полиграфолог (согласно имеющимся сведениям — Кирчер) провел по 18 проверок в основных группах. Анализ отчетов Хонтса и его коллег указывает на методологическую проблему: ни одно из тестирований в исследованиях Гурвица или Кирчера не проводилось опытными экспертами.

В диссертационной работе Бернхардта также отмечается факт консультации с Раскиным, который подтвердил корректность материалов видеопроверок. Однако анализ структуры данных позволяет предположить, что предварительные результаты, полученные в ходе работы аспиранта, не соответствовали отчетным данным, что привело к исключению части результатов из итогового отчета и включению только тех данных, которые были получены опытным специалистом.

Интерпретация дыхательных реакций

Ключевым выводом исследований является подтверждение эффектов в канале дыхания. Установлено, что у невиновных проверяемых подавление дыхательной активности на релевантные вопросы выражено сильнее, чем на контрольные (так называемый «обвинительный уклон»).

В отличие от работы Гурвица, исследование Кирчера предлагает иную интерпретацию: не столько происходит подавление дыхания на релевантный вопрос, сколько наблюдается увеличение дыхательной активности на контрольный вопрос. Оба этих сценария в конечном итоге формируют схожую «обвинительную картинку» при сравнении длины линий дыхания. На основании этих данных были даны рекомендации по осторожному использованию обсчета дыхания до проведения дополнительных исследований, учитывающих эти нюансы.

Процессы противодействия и психологические факторы

Различные школы интерпретации выделяют разные механизмы усиления дыхания. Одна из версий предполагает, что процесс воспоминания событий, связанных с содержанием вопроса, в сочетании с осознанием возможности выявления лжи, приводит к физиологическому усилению дыхательной активности.

Другой подход предполагает, что виновные лица демонстрируют последовательные реакции на релевантные вопросы из-за актуализации воспоминаний и опасений разоблачения. Однако при анализе данных необходимо учитывать возможность противодействия. Исследования показывают наличие значимых реакций на поверочные вопросы в канале дыхания, проявляющихся как подавление, так и усиление. Сравнение этих двух различных типов изменений дыхания затрудняет проведение корректного анализа.

Статистика противодействия в лабораторных условиях

Согласно данным Чака Слапски (2014 г.), лабораторные исследования демонстрируют высокую степень подверженности противодействию: порядка 89% причастных и 48% непричастных лиц применяют методы противодействия. Важно отметить, что в лабораторных условиях мотивом часто выступает внешний фактор — финансовое вознаграждение за успешное прохождение теста. Это создает специфические условия исследования, которые могут отличаться от реальной практики.

Практический анализ и рекомендации

На примере дела Констанции Уолкер (1991 г.) можно проиллюстрировать проблему интерпретации дыхания в условиях высокой загрязненности сигнала и большого количества вдохов. Сравнительный анализ данных показывает, что дыхание является наиболее уязвимым параметром для манипуляций со стороны проверяемого.

В связи с вышеизложенным предлагается проведение экспериментального исследования в несколько предъявлений. Методика предполагает использование непрозрачных конвертов с заданиями (для причастных и непричастных статусов) и поэтапное получение обратной связи. Целью данного исследования является определение точности тестирования, изучение механизмов противодействия и оценка эффективности различных методик в контролируемых условиях.

Срегей Владимирович уделили внимание таким характеристикам точности теста как чувствительность, специфичность и прогностическая ценность (положительная и отрицательная). Тем полиграфологам которые хотят с пониманием относится к проблеме точности теста необходимо в этих понятиях разбираться. О них, о том как эти понятия связаны, о чём говрил Серегй Владимирович, можно почитать тут, страница 139 Основные понятия теории вероятностей и статистики для анализа полиграмм и узнать как между собой связаны все эти понятия