Colibri — это экспериментальный движок для запуска гигантской открытой MoE-модели на обычном компьютере без серверной видеопамяти. Разработчик JustVugg показал, что модель с 744 млрд параметров можно поднять на ноутбуке с 25 ГБ оперативной памяти, если держать в RAM только постоянно нужные части, а тысячи экспертов подгружать с NVMe SSD. Это не превращает ноутбук в дата-центр: генерация идёт примерно по одному токену за десятки секунд, а накопитель получает экстремальную нагрузку.
Как запустить нейросеть на 744 млрд параметров без 220 ГБ памяти?
Короткий ответ: не хранить всю модель в оперативной памяти одновременно. По данным Habr AI, автор Colibri использовал особенность MoE-архитектуры: на каждом токене активируется лишь небольшая доля параметров, а остальное может лежать на диске до момента вызова.
В классическом запуске даже сильно квантованная версия такой модели требует порядка 220 ГБ памяти. Colibri меняет саму схему исполнения: плотная часть модели — внимание, эмбеддинги и общие блоки — остаётся в RAM в 4-битном виде и занимает около 9,9 ГБ. А 21 504 маршрутизируемых эксперта хранятся на NVMe SSD, суммарно занимая примерно 370 ГБ.
Главная идея Colibri не в том, чтобы уменьшить модель, а в том, чтобы превратить оперативную память в горячий кэш, а SSD — в медленную, но огромную память для экспертов.
Важно: речь не о дистилляции и не об урезании архитектуры. Все 744 млрд параметров остаются на месте, но веса сжаты до 4 бит. Это похоже на привычный компромисс квантования: качество может немного меняться, зато требования к железу падают на порядок.
Почему MoE-модель вообще позволяет такой трюк?
MoE, или mixture of experts, — это архитектура, где для каждого токена выбирается не вся сеть, а набор специализированных блоков-экспертов. Поэтому модель может иметь сотни миллиардов параметров на диске, но реально считать только десятки миллиардов активных параметров на конкретном шаге генерации.
В описанном случае на каждый новый токен вызываются 8 экспертов в каждом из 75 MoE-слоёв. Если нужные эксперты уже в кэше, всё идёт чуть лучше. Если кэш холодный, один токен может потребовать около 11 ГБ чтения с диска. Для обычного ноутбука это колоссально: не столько по объёму хранения, сколько по постоянному случайному чтению.
| Параметр | Обычный запуск | Подход Colibri |
|---|---|---|
| Память для квантованной модели | Около 220 ГБ | 25 ГБ RAM достаточно для эксперимента |
| Где лежат веса | Преимущественно в RAM/VRAM | Плотная часть в RAM, эксперты на NVMe SSD |
| Объём экспертов на диске | Не ключевой фактор | Около 370 ГБ |
| Скорость генерации | Зависит от серверного железа | Около одного токена за десятки секунд |
| Главный риск | Цена памяти и GPU | Износ SSD и задержки ввода-вывода |
Именно поэтому новость стоит воспринимать как инженерный прорыв, но не как готовый бытовой сценарий. Да, нейросеть на 744 миллиарда параметров на ноутбуке теперь можно запустить. Нет, это не значит, что на ней удобно писать код, вести диалог или обрабатывать документы каждый день.
Что будет с SSD и почему это не бесплатная магия?
Главная цена такого запуска — ресурс накопителя. Если один токен без прогретого кэша требует гигабайты чтения, длинная сессия быстро превращается в терабайты операций. Современные NVMe выдерживают серьёзные нагрузки, но потребительские SSD не рассчитаны на роль постоянной внешней памяти для модели такого масштаба.
Есть и вторая проблема: задержка. RAM работает на порядки быстрее SSD, а генерация текста — последовательный процесс. Следующий токен нельзя полноценно посчитать, пока не завершён предыдущий. Поэтому даже очень быстрый диск не устраняет фундаментальный узкий участок: постоянную подгрузку экспертов.
Практический вывод простой: Colibri полезен исследователям, энтузиастам локальных LLM и разработчикам рантаймов. Он позволяет проверить совместимость, изучить поведение большой MoE-модели, провести редкие тесты без аренды дорогого сервера. Но для регулярной работы быстрее и дешевле использовать меньшие локальные модели или API-подход, если важна скорость ответа.
Почему это всё равно важно для рынка локальных LLM?
Colibri показывает направление: будущее локального ИИ может быть не только в покупке всё более дорогих GPU, но и в умном управлении памятью. Если рантаймы научатся предсказывать, какие эксперты понадобятся дальше, заранее прогревать кэш и эффективнее раскладывать веса между RAM, SSD и видеопамятью, крупные открытые модели станут доступнее.
Для пользователей это означает постепенное расширение класса задач, которые можно выполнять локально: приватный анализ документов, офлайн-кодинг, эксперименты с длинным контекстом, тестирование агентов без отправки данных в облако. Но важно не путать демонстрацию возможности с продуктовой готовностью. Пока запуск 744 млрд параметров на ноутбуке — это скорее доказательство концепции, чем замена облачным флагманам.
Итог: JustVugg не отменил физику и не сделал гигантскую модель быстрой на слабом железе. Он показал, что ограничение памяти можно снять архитектурно: хранить активное в RAM, остальное — на SSD, а MoE использовать как естественный механизм выборочной загрузки. Это медленно, жёстко для диска, но технически очень важно: локальные LLM становятся не только вопросом железа, но и вопросом умного рантайма.
