Сжатие KV cache давно считается почти обязательной инженерной оптимизацией для больших языковых моделей: меньше памяти, выше пропускная способность, дешевле инференс. Но работа на arXiv:2606.09864 показывает неприятную деталь: KV cache quantization может ломать safety alignment — способность модели отказываться от опасных запросов — даже когда стандартные метрики качества выглядят нормальными.
Исследователи проверили 11 instruction-tuned LLM размером от 3,8B до 72B параметров на пяти бенчмарках и 1 894 промптах. Главный вывод: низкобитное сжатие KV cache иногда не просто ухудшает ответы, а именно снижает число безопасных отказов. В одном из 7B-кейсов отказов стало на 15,2% меньше при росте perplexity всего до 1,03x. То есть мониторинг по perplexity и accuracy почти ничего не увидел.
Почему KV cache сжимают
KV cache — это сохранённые key-value представления внимания, которые модель использует при генерации длинного ответа или обработке длинного контекста. Чем больше контекст и чем крупнее LLM, тем больше видеопамяти занимает cache. Поэтому в продакшене его часто квантуют: переводят значения из более точного формата в низкобитное представление.
Проблема в том, что такую оптимизацию обычно оценивают по усреднённым метрикам. Если perplexity почти не изменилась, систему считают рабочей. Но безопасность LLM — не средняя плавность текста. Это набор тонких внутренних признаков, которые должны включаться в конкретных ситуациях: вредоносные инструкции, опасные биологические или химические запросы, попытки нарушения ограничений.
Ключевой результат работы: не существует универсальной безопасной битности для KV cache. У разных моделей возникают резкие, модельно-специфичные переходы, которые не видны по обычным метрикам.
Что именно ломается: геометрия alignment
Авторы объясняют эффект геометрически. Safety features занимают низкоразмерное подпространство активаций. Оно примерно в 102–103 раз уязвимее к шуму квантования, чем всё представление модели, по которому усредняется perplexity. Поэтому модель может продолжать грамотно писать текст, но хуже распознавать, когда нужно отказаться.
Это важный сдвиг в понимании безопасности. Раньше KV cache compression воспринимали как компромисс между скоростью, памятью и качеством. Теперь появляется четвёртый параметр: сохранность alignment. И он не обязан коррелировать с качеством ответа на обычных задачах.
| Что проверяют | Что показывает | Почему этого мало |
|---|---|---|
| Perplexity | Насколько вероятен текст по мнению модели | Усредняет ошибку и не ловит провалы в safety-признаках |
| Accuracy | Точность на тестовых задачах | Не измеряет отказ от опасных инструкций |
| Refusal rate | Долю безопасных отказов | Ближе к риску, но требует специальных промптов |
| PCR-диагностика | Где именно ломается alignment | Помогает выбрать способ исправления |
PCR: диагностика вместо угадывания битности
Чтобы не подбирать параметры вслепую, исследователи предложили Per-Channel Reduction, или PCR. Это протокол без дообучения модели. Достаточно примерно 20 калибровочных промптов и около 35 GPU-минут, чтобы определить механизм поломки.
PCR относит модель к одному из трёх сценариев. Первый — outlier-crushes-safety: масштаб квантования диктуют каналы-выбросы, а safety живёт в обычных каналах и повреждается побочно. Второй — outlier-as-safety: признаки безопасности совпадают с outlier-каналами, и простое увеличение гранулярности не спасает. Третий — multi-layer dilution: safety распределён по многим слоям, поэтому локальные исправления работают плохо.
В экспериментах PCR правильно предсказывал направление mitigation на девяти основных моделях и ещё на одной модели из независимого семейства. Метод также сработал на невиданных промптах и с продакшен-квантизаторами, включая KIVI: в отдельных тестах восстановление потерянного alignment доходило до 97,2% при минимальном росте памяти.
Практические выводы для команд, которые запускают LLM
- Не полагайтесь только на perplexity. Если вы включаете FP8 или другое низкобитное KV cache compression, добавьте отдельный safety-eval с отказами.
- Тестируйте конкретную модель и конкретный quantizer. В работе подчёркнуто: универсального безопасного bit-width нет.
- Проверяйте фазовые переходы. Alignment может держаться до определённого порога, а затем резко падать.
- Разделяйте качество и безопасность. Модель может отвечать связно, но хуже сопротивляться вредным промптам.
- Внедряйте диагностику до продакшена. PCR ценен тем, что показывает не только факт деградации, но и вероятный механизм.
Особенно это важно для сервисов с длинным контекстом, агентных систем, корпоративных ассистентов и любых LLM, где экономия видеопамяти напрямую влияет на себестоимость. Чем сильнее давление на инференс-стоимость, тем выше соблазн агрессивно сжимать KV cache — и тем опаснее слепая оптимизация.
Итог
Главная новость не в том, что квантование ухудшает модели. Это было ожидаемо. Главное — оно может ухудшать именно безопасность, оставаясь почти невидимым для привычных метрик. Для индустрии это сигнал: performance-инженерия LLM больше не может жить отдельно от alignment-аудита.
Если выводы подтвердятся на большем числе архитектур и продакшен-нагрузок, проверка KV cache quantization на безопасность станет такой же обязательной, как latency-тесты и измерение потребления памяти. Экономия GPU — полезная цель, но не тогда, когда она незаметно снижает устойчивость модели к опасным запросам.
