Коллегия присяжных
Часть решений, которые принимает прогон, невозможно измерить. Ясно ли герой
страницы доносит предложение, действительно ли миссия достигла поставленной
цели — ни одна проверка этого не решает. Mockarty умеет выносить такие вопросы
коллегии языковых моделей: они читают собранные прогоном свидетельства и
голосуют.
Коллегия настраивается в Настройки → Коллегия. По умолчанию ничего не
включено.
Что коллегия делает — и чего не делает никогда
Коллегия только закрывает пробел. Если детерминированная проверка уже что-то
установила, её результат остаётся: измерение — это факт, и голосование факты не
отменяет. Конкретно:
- Судит только те цели, которые не смог оценить ни один движок. Всё
машинно-проверенное не трогает. - Не может превратить провал в успех. Для вердикта качества её чтение
записывается как рекомендательное; для миссии она может понизить прогон,
объявивший успех, но не реабилитировать по-настоящему упавший. - Разногласие заставляет заявлять меньше, а не больше. Расколотая коллегия
снижает заявленную уверенность вердикта и никогда не отменяет записанный исход
миссии. - Присяжный, который не может решить, воздерживается. Если ответить не смог
никто, цель так и остаётся «объявлено, не оценено» — это честный исход, а не
провал.
Места, а не профили
Коллегия — это список профилей LLM с числом мест у каждого. Именно места
определяют коллегию:
- Несколько мест у одного профиля опрашивают одну и ту же модель повторно.
Там, где свидетельства ясны, ответы совпадают; там, где вопрос действительно
двусмысленный, — расходятся. Это и есть нужный сигнал. - Несколько профилей дополнительно ловят предвзятость отдельной модели.
Оба варианта полезны и оба стоят денег: каждое место — одно обращение к модели
на каждую судимую цель. При редактировании показывается сумма мест и потолок, а
сервер обрезает превышение, поэтому коллегия не может незаметно превратиться в
крупный счёт.
Фокус-промпты: одна модель, разные линзы
У каждого участника может быть необязательный фокус-промпт — сохранённый
шаблон, который говорит именно этому участнику, на что смотреть: «читай как
специалист по доступности», «следи за точностью формулировок», «рассуждай как
инженер по безопасности».
Это самая дешёвая полезная разница взглядов, какая возможна в коллегии. Одна и та
же модель, опрошенная дважды, отвечает примерно одинаково; но спрошенная один раз
как специалист по доступности и один раз как безопасник, она даёт два по-настоящему
разных чтения.
Фокус-промпт добавляет линзу, но не заменяет правила. Инструкция, которая
делает голос достоверным (судить только по свидетельствам, воздерживаться при
неясности, отвечать в фиксированной форме), стоит и до текста фокуса, и
повторяется после него — последнее слово всегда за контрактом. Фокус-промпт не
может велеть присяжному всегда соглашаться, перестать воздерживаться или
отвечать прозой.
Поскольку линза — часть того, кто такой присяжный, один и тот же профиль с двумя
разными фокус-промптами считается двумя участниками, а не одним, и у каждого
свои места.
Если фокус-промпт удалён или не читается, участник голосует по базовой рубрике.
Потеря линзы стоит некоторой глубины; молчаливое исключение места уменьшило бы
коллегию, которую вы настроили.
Настройка экземпляра и переопределение пространства имён
Два уровня:
- Настройка экземпляра — задаётся администратором, используется каждым
пространством имён, у которого нет своей коллегии. - Переопределение пространства имён — полностью заменяет её для этого
пространства.
Переопределение именно заменяет, а не дополняет. Когда вы платите за каждое
место, нужно смотреть на один экран и видеть ровно ту коллегию, которая сядет, а
собранную из двух уровней невозможно удержать в голове.
Экран настроек прямо сообщает, что именно вы видите. Если написано, что
пространство имён использует настройку экземпляра, то редактирование и
сохранение создадут переопределение; кнопка «Убрать переопределение» удаляет его
и возвращает к общей настройке.
Если не задан ни один уровень, коллегия не работает нигде.
Выбор профилей
В коллегию можно посадить только включённые профили LLM — выключенный дал бы
коллегию меньше настроенной, причём молча. Если профиль удалили уже после
сохранения коллегии, его строка остаётся видимой как недоступная, а не исчезает,
чтобы состав не уменьшился незаметно. На следующем прогоне его места просто
пропускаются.
Где виден результат
- Вердикты качества — судимый критерий помечается как рекомендательная
оценка, а вердикт записывает, какие модели его судили, вместе с версией
промпта и рубрики, так что результат остаётся воспроизводимым и проверяемым. - Автономные миссии — отчёт о завершении несёт, достигнута ли цель, была ли
коллегия расколота и с каким счётом. Миссия, понижённая коллегией, прямо
сообщает об этом.