Перейти к основному содержимому

Устойчивость к атакам

Схема проверки стоит ровно столько, сколько атак она пережила. Здесь собраны стратегии обмана, которые разбирали против Proof of Intelligence, и механизм, который ловит каждую из них. Приведённые замеры получены в раундах атакующего тестирования против референсной реализации, а не на трафике живой основной сети. Где протокол находится сегодня, смотрите в Статусе проекта.

Позиция атакующего​

Нечестному майнеру нужна эмиссия без оплаты вычислений, которые её зарабатывают. Любой практичный обман сводится к одному из трёх ходов: запустить модель дешевле заявленной, отработать меньше заявленной модели, чем обещано, или вести себя честно только тогда, когда подозреваешь наблюдение. Каждая атака ниже - вариация одного из этих трёх.

Подделка входного экзамена​

Задача публикует эталонные зонды - небольшой набор фиксированных входов, правильное распределение выхода по которым известно. Чтобы попасть в задачу, майнер обязан их воспроизвести.

Очевидная атака - обучить дешёвую суррогатную модель, которая имитирует выходы целевой ровно на этих зондах, пройти проверку, а реальные запросы обслуживать дешёвой моделью. Это проверяли: дистиллировали суррогат той же архитектуры, пока он агрессивно не переобучился на наборе зондов.

Суррогат не совпал ни по одному хэшу. Совпадение распределений не даёт побитово одинаковых логитов: округление bf16 сдвигает младшие биты, порядок top-k меняется, хэш расходится. Чтобы воспроизвести хэш, нужны те же веса в том же численном представлении, и в этом весь смысл проверки.

Батчинг реального трафика​

Обслуживать много промптов одним батчем - стандартный приём ради эффективности, и он меняет арифметику. Паддинг-токены меняют порядок накопления внутри внимания, а сложение с плавающей точкой неассоциативно, поэтому один и тот же промпт при разных размерах батча даёт разные логиты.

На всём проверенном диапазоне размеров батча каждый дал свой хэш. Поэтому каноническая спецификация исполнения фиксирует размер батча 1 для проверяемой работы. Это требование корректности, а не предпочтение по производительности. Батчить ради собственной пропускной способности майнер волен, но значения, которые он коммитит для проверки, обязаны приходить из прогона с батчем в единицу.

Хорошие ответы только под наблюдением​

Если проверочный трафик отличим от пользовательского, майнер может отдавать честные результаты проверяющему и дешёвые всем остальным. Опасение не теоретическое: в тестах классификатор в пять строк отделял валидаторские запросы от пользовательских со стопроцентной точностью. Выделенный эндпоинт проверки небезопасен по построению.

Ответ - теневые перепроверки. На пересчёт идут реальные пользовательские запросы, взятые из обычного трафика и не несущие никакой пометки. При доле перепроверок 7% доля обнаружения выборочно жульничающего майнера составила 100%, а противник, пытавшийся угадать, какие запросы попали в перепроверку, набрал 40%, то есть хуже подбрасывания монеты. Детали в статье Проверка инференса.

Игры с сэмплированием​

Майнер может объявить жадное декодирование, а сам тихо сэмплировать, или указать сид, которым не пользовался. Сгенерированный текст различается от прогона к прогону, поэтому сравнение текстов такое обманывается.

Проверка сравнивает не сгенерированный текст, а распределение логитов из прямого прохода, которое вычисляется до всякого решения о сэмплировании. На жадном декодировании и на разных температурах с разными сидами сгенерированные токены различались каждый раз, а хэш прямого прохода был одинаковым каждый раз. Подмене сэмплирования здесь просто не за что зацепиться.

Недоделанная генерация изображений​

Диффузия даёт атакующему естественное место, чтобы срезать угол: честно посчитать первые несколько шагов расшумления, а дальше подставить дешёвые или случайные латенты. Итоговая картинка всё ещё выглядит правдоподобно, а счёт за вычисления падает.

Каждый шаг расшумления - детерминированная функция предыдущего латента и сида, поэтому коммит хэша на каждом шаге превращает прогон в цепочку. В тестах подмена, вброшенная в середине прогона, обнаруживалась на каждом шаге, где появлялась. Частичной подмене негде спрятаться, когда цепочка закоммичена.

Смешивание моделей​

В мультимодальной работе атакующий может попробовать запустить энкодер изображений от дешёвой модели, энкодер текста от заявленной, а эмбеддинги склеить.

В большинстве случаев это падает ещё до проверки, потому что разные семейства моделей дают разную размерность эмбеддингов, а конкатенация между ними просто не определена. Когда две версии одного семейства всё же совпадают по размерности, их по-прежнему разводит хэш логитов. Структурная несовместимость здесь основной барьер, а хэш - подстраховка.

Подделка дорогой половины​

Prefill, проход по всему промпту до начала генерации, - самая тяжёлая фаза по вычислениям. Майнер может попытаться прогнать её на маленькой модели, а генерацию продолжить на заявленной.

Ловят это три независимые проверки. Хэши прямого прохода различаются, потому что различаются модели. Словари различаются, и в тестовой паре пересечения по топовым идентификаторам токенов не было вообще. А хэш контекста по полному промпту не совпадает с хэшем по частичному, что помечает манипуляцию промптом ещё до всякого пересчёта. Атакующему пришлось бы пробить все три сразу.

Длинные контексты​

Проверка длинного запроса имеет смысл только тогда, когда длинный прямой проход воспроизводим. На длинах контекста от нескольких тысяч токенов до 32K повторные прогоны дали одинаковые хэши. Межархитектурное совпадение ведущего токена держалось на том же диапазоне.

Опубликованный на сегодня потолок - прогон на 128K. Дальше упёрлись в собственное окно модели, а не во что-то в протоколе, и именно это различие здесь существенно. У проверки своего ограничения по контексту нет, поэтому контексты в миллион токенов - вопрос модели и памяти, и эти прогоны замеряются сейчас, результаты будут опубликованы.

Одна оговорка тут важна. Пересчёт только куска длинного промпта в отрыве от остального не воспроизводит логиты полноконтекстного прогона, потому что внимание по куску видит меньше, чем внимание по всему промпту, и расхождение растёт тем сильнее, чем глубже в промпте начинается кусок. Поэтому проверяющий пересчитывает полный контекст и сравнивает в интересующей позиции, а не гоняет фрагменты. Срезки по кускам корректны только для моделей с оконным вниманием.

Именно полноконтекстный пересчёт и делает длинные промпты дорогими в проверке, и эту цену замерили, а не предположили. Повторный prefill одной позиции на длинном промпте стоит близко к тому, во что обошёлся прогон самого исполнителя, поэтому оценка «проверка стоит доли процента» держится на коротких ответах и не держится на длинных. KV-кэш в раннере к тому же оказался условием того, что длинные контексты вообще стали практичны, а не оптимизацией.

Агентские сценарии и вывод инструментов​

В многошаговом диалоге агента целью подмены становится не выход модели, а вывод инструмента, который в неё возвращается. Майнер может подменить цену, пришедшую от API, и дальше честно генерировать из изменённого контекста.

Это закрывают два слоя. Логиты следующего хода зависят от всего диалога через внимание, поэтому изменённый вывод инструмента меняет хэш: в тестовом случае подмена одного числа увела распределение следующего токена далеко за пределы честного разброса. Отдельно хэш по всему тексту диалога меняется, как только изменился любой ход, и это дешёвая рантайм-проверка, которая срабатывает до того, как понадобится пересчёт.

Тот же хэш диалога делает безопасным перенос сессии между майнерами. В многоходовом диалоге с передачей сессии от одного майнера другому на середине итоговый хэш совпал с прогоном на одном майнере, поэтому нагрузку можно перебалансировать, не ломая воспроизводимость.

Закладки при обучении​

В обучении опасение состоит в отравленном обновлении, которое переживёт проверку. Каждый отдельный шаг здесь является настоящим прямым проходом, обратным проходом и обновлением оптимизатора, поэтому переигрывание одного шага ловить нечего. Механизм, который это закрывает, читает историю обновлений стадии, а не отдельный шаг, и описан в статье Proof of Training.

Уровни доверия к коду и окружению​

Воспроизводимые хэши доказывают, что две стороны выполнили одно и то же вычисление. Сами по себе они не доказывают, какой код лежал на диске. AETRON разбирается с этим послойно, и каждый слой сильнее и дороже предыдущего.

Уровень 1, косвенная проверка. Если результаты совпали бит в бит, код был по сути одинаковым. Любая правка, меняющая численный вывод, ловится пересчётом, и это покрывает подмену модели, изменённые прямые проходы и расхождения окружения. Не ловятся правки без численного эффекта, вроде добавленной телеметрии, и не ловится случай, когда исполнитель и проверяющий изменили код одинаково. Против второго случая работает то, что проверяющих назначает случайность цепи, а не исполнитель. При доле сговорившихся 20% и 5 независимых пересчётах вероятность того, что все пересчёты попадут на сговорившихся, равна 0,2^5, то есть около 0,00032. Этот уровень предполагает честное большинство, то же допущение, что и у любой системы proof-of-work и proof-of-stake.

Уровень 2, отпечаток окружения. Задача публикует хэши эталонного раннера инференса и полного списка зависимостей, при желании ещё и дайджест образа контейнера. Майнеры сообщают свои хэши при регистрации и на периодических перепроверках, а расхождение отклоняется или штрафуется. Это закрывает правки кода без численного эффекта, monkey-patching библиотек, подмену зависимостей и запуск одного пути кода на зондах и другого на пользовательском трафике. Предел уровня назван честно: отчёт самодекларируемый. Майнер может отправить правильный хэш и запускать что-то другое, а патчинг в рантайме через подсунутые библиотеки или прямую запись в память останется невидимым.

Уровень 3, аппаратная аттестация. С конфиденциальными вычислениями на поддерживаемых GPU аппаратный корень доверия подписывает утверждение о том, какой код и какие веса загружены внутри запечатанного анклава. Это превращает самоотчёт в криптографическую гарантию и заодно прячет промпты и веса от оператора машины. Цена - задокументированные 4-8 процентов накладных расходов по пропускной способности плюс парк, ограниченный железом с поддержкой аттестации, а доверие переезжает на инфраструктуру ключей производителя чипа. Побочные каналы сокращаются, но не исчезают. Этот уровень зарезервирован для конфиденциальных задач, а не для обычной работы.

Роль цепи одинакова на всех уровнях. Она хранит каноническую спецификацию и эталонные хэши, выдаёт случайность для назначения проверяющих, держит закоммиченные корни и применяет штрафы. Инференс она не считает, промпты и ответы не хранит и код проверять не может.

Что происходит после вердикта о мошенничестве​

Штрафы разделены по классам, а не применяются одинаково ко всем. Повторные нарушения идут по возрастающей.

Тяжёлые классы считаются постоянной отметкой в истории майнера: подтверждённое мошенничество, ложное обвинение честного майнера, подпись под работой, которая на деле была мошеннической, вердикт, который не удалось воспроизвести, пропуск дедлайна свидетеля после предупреждений и молчание в составе сговорившейся группы. Первое такое нарушение даёт временный бан, второе - постоянный. Эти же классы ставят под удар залог майнера.

Мягкие классы со временем затухают и разбираются по щадящей лестнице, потому что единичный сбой обычно операционная проблема, а не обман. Пропущенная обязанность свидетеля стоит сначала половины награды, потом всей, потом временного бана. Простой начинается со снижения на 10%, дальше 50%, дальше нулевая награда. Спор, оказавшийся необоснованным, стартует со снижения на 20% и растёт так же.