Точность промптов анализа метрических данных полиграфного теста

Промпт (от англ. prompt — «подсказка») — запрос, команда или набор инструкций, которые пользователь передаёт нейросети или другой программе с ИИ для выполнения определённой задачи. Промпт помогает системе лучше понять намерения человека и выдать наиболее релевантный результат.

В СППРП «Сокол» имеется модуль ИБЗ (интеллектуальная база знаний). Кроме прямого предназначения модуля — давать необходимые справки полиграфологу, предоставлять помощь в подготовке тестирования, написания отчётов, имеются ещё и промпты для анализа метрических данных тестов. По сути, это алгоритмы классификации/диагностики результатов полиграфного теста, которые проводятся с помощью нейронных сетей LLM (больших языковых моделей), либо целиком нейронной сетью. Нейронная сеть пишет подробный экспертный отчёт, анализируя результаты теста не только в целом, но и в отдельности по физиологическим каналам. Отчёт возможно сохранить на компьютере в формате docx (Word) или pdf и представить заказчику. При этом становятся прозрачными все вычисления и выводы, что соответствует современным требованиям к математическим алгоритмам. С этими требованиями можно ознакомиться, например, в статье «Практическая полиграфия: Введение в новую модельную политику использования алгоритмов в судебных полиграфологических экспертизах» (Раймонд Нельсон, Дональд Дж. Краполь, 2024). Тезисно с этой статьёй можно ознакомиться, перейдя по ссылке Ознакомиться со статьёй.

В модуле ИБЗ имеется четыре промпта:

• ЭСО — производится сравнение показателей проверочного вопроса с показателями ближайшего контрольного вопроса (в первую очередь предыдущего контрольного). Показатель переводятся в баллы по схеме: 1-2-1-1. Балл выставляется, если разница между показателями более 10%.
• Нормализация с весами — все показатели переводятся в условные единицы с помощью min-max нормализации, с последующим вычислением индексов для проверочных и контрольных стимулов. Диагностический результат даётся на основе сравнения полученных индексов. В анализе данных такой способ носит название дискриминантного анализа. Как производится нормализация и вычисляются индексы, нейросеть рассказывает в отчёте. Процедура несложная, формулы достаточно простые, при необходимости их можно объяснить даже человеку, который не дружит... с математикой.
• DeepSeek — нейронная сеть сама выбирает способ анализа данных и получения результата. В этом промпте «предустановлена» инструкция, которая говорит о важности каналов, о влиянии их показателей на конечный результат. То есть даётся указание придавать больший вес важным каналам.
• Свободный — пользователь может сам написать свой промпт для нейронной сети. В самом простом виде он может быть такой: проанализируй данные полиграфного теста и сделай вывод, на какие вопросы проверяемый реагировал сильнее.

Необходимо подчеркнуть, что первые два промпта, их результаты, не зависят от используемой нейронной сети. Форма отчёта в некоторой степени зависеть может, но не результаты. Последние же два промпта очень сильно зависят от используемой LLM. Некоторые из них считать практически не умеют. Другие умеют лучше, почти хорошо, но практически нет такой, которая может произвести счёт практически без ошибок. Нейронная сеть может делать то, и очень хорошо, то, чему её обучили на этапе создания. Она, например, может точно вычислять квадратный корень с точностью до 9-го знака после запятой. Но только потому, что это заложено в неё при обучении. А достаточно простые математические операции, которые не были в неё заложены, могут даваться ей с трудом.

Поэтому результаты этих промтов сильно зависят от используемой нейронной сети. Кроме того, даже одна и та же сеть на одних и тех же данных может получать различающие результаты. Результаты вычислений могут различаться между собой по причине того, что нейронная сеть в первом случае может выбрать один способ анализа, а при повторном выбрать другой. А в случае возникновения грубых ошибок вычислений диагностические результаты могут быть даже противоположными. Поэтому эти промпты в настоящее время считаются факультативными. Они присутствуют в модуле потому, что, с одной стороны, они дают пример совершенно независимого, неангажированного оценщика, а с другой стороны, причина в том, что в настоящее время область нейронных сетей испытывает бурный рост. Нельзя исключать, что появятся LLM — хорошие аналитики данных, умеющие точно считать. Более того, существующие LLM могут быть дообучены, специализированы для нужд аналитики данных полиграфных тестов.

Так как промпты являются алгоритмами классификации, то выпускать их в жизнь нельзя без их проверки на размеченных данных, без оценки показателей их точности... Хотя надо сказать, что именно среди полиграфологов использование различных способов оценки без подобных проверок считается не только допустимым, но и нормальным. И даже более того, системы обсчёта, алгоритмы считаются валидными только на основании того, что их представляет авторитетное лицо. И для валидации этого оказывается достаточно. Такой подход противоположен научному... Да не только научному, а и просто здравомысленному подходу.

Поэтому я провёл проверку промтов на известной выборке полиграмм с известным решением: 100 полиграмм (50/50) DODPI USA. На этой выборке можно сравнить результаты различных диагностических алгоритмов. Ниже таблица с показателями точности алгоритмов. Показатели точности американских алгоритмов были вычислены Александром Калафати на данных из открытых источников, их можно найти по ссылке Ознакомиться с данными (Приложение Г). Так как результаты промтов, за исключением ЭСО (вынуждено), вычислены без результата «нет вывода», то и результаты американских алгоритмов приведены без исхода inc.

Как можно видеть, самый эффективный способ получить диагностическое заключение — это промпт "Нормализация с весами". При отсутвии исхода "Нет результата" точность на этой эталонной выборке превышает 90% (93%, 92%, 94%). А ошибка при принятии решения: 6% в случае лживых лиц и 8% в случае правдивых.

В случае американских алгоритмов показатели точности при наличии исхода "Нет решения" меньше и значительно меньше 90%, что говорит о меньшей эффективности алгоритмов. Приемлемая величина ошибки менее 10% (за исключением HSS) достигается за счёт большого процента исхода "Нет решения".

Учитывая российские реальности, когда определенный результат, обвинение или оправдание, доводиться до заказчика практически всегда — исход "Нет решения" отстутствует, правильнее и честнее пользоваться теми способами анализа полиграмм, которые при отсувии "Нет решения" дают наименьшую ошибку при получении диагностического заключения.