Как это работает
Система построена на принципе «доказуемого вывода»: результат проверки — криптографическое доказательство, математическая гарантия того, что ответ пришёл от конкретной модели. По задумке это похоже на криптографическую подпись письма, по которой получатель убеждается, что отправитель настоящий.
Для работы лаборатории должны публиковать «отпечаток» каждой выпущенной модели. По нему ответы можно сопоставить с моделью и проверить криптографически. Отпечаток не раскрывает веса модели — внутренние числа, которые определяют её поведение и которые закрытые разработчики держат в секрете. Поэтому публикация отпечатков не требует раскрывать главный актив, и система подходит для коммерческих моделей.
Систему задумали лёгкой: проверку можно проводить на локальном устройстве. Подробностей о её устройстве и сроках пока нет.
Зачем нужна такая проверка
По тексту ответа сейчас нельзя отличить одну модель от другой. FlashProve, по задумке исследователей, будет устойчива к попыткам выдать одну модель за другую — даже если подмену устроила лаборатория, которая эту модель создала и запускает.
В частности, систему предлагают использовать против двух сценариев:
- компания тайно подменяет модель на более дешёвую, чтобы сократить расходы;
- компания подменяет модель на более дорогую, чтобы завысить результаты.
Ещё один сценарий — проверка заявлений третьих лиц. Разработчик может утверждать, что его библиотеку проверила на уязвимости передовая модель по кибербезопасности, а компания — что её бизнес-план одобрила подходящая модель. FlashProve дал бы пользователю способ убедиться в таких заявлениях.
Что уже опубликовано
Вместе с анонсом исследователи выложили подробную техническую спецификацию и рабочий код отдельных частей системы. Он открыт по лицензии с открытым исходным кодом и доступен на GitHub.
Работа над системой продолжается. Внедрять её в Anthropic или в других лабораториях пока не планируют. Исследователи называют публикацию промежуточным результатом, а не завершённой программой: она нужна, чтобы другие изучили наработки, взяли их и улучшили.
Источник
По материалам techcrunch.com.