Локальный инференс LLM в 2026: Ollama против vLLM (Разбор PagedAttention и бенчмарки)
Разработчики часто пытаются развернуть Ollama в коммерческом продакшне и удивляются, когда сервер зависает при 10 одновременных пользователях. Ollama построена на базе llama.cpp и оптимизирована для персонального использования одним человеком. Для высоких параллельных нагрузок стандартом индустрии является vLLM с технологией виртуальной памяти PagedAttention.
AM LABКак PagedAttention решает проблему фрагментации видеопамяти
В стандартных движках инференса память под KV-кэш каждого пользователя выделяется единым непрерывным блоком на максимальную длину контекста (например, на 8192 токена). В результате до 70% дорогой видеопамяти простаивает впустую из-за внутренней фрагментации!
- vLLM заимствовал идею виртуальной страничной памяти из ядер Linux:
- Память под ключи и значения (KV) делится на небольшие страницы фиксированного размера (по 16 токенов).
- Страницы выделяются динамически по мере генерации каждого нового слова.
- Это позволяет серверу удерживать в памяти видеокарты до 25-40 параллельных сессий вместо 2-3!
Развертывание высокопроизводительного кластера vLLM с поддержкой OpenAI API
Запуск продакшн-сервера с непрерывным батчингом (Continuous Batching):
# Запуск vLLM с поддержкой кэширования префиксов промптов
python3 -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-Coder-14B-Instruct \
--tensor-parallel-size 1 \ # Количество используемых GPU
--max-model-len 16384 \ # Максимальное контекстное окно
--gpu-memory-utilization 0.95 \ # Выделение 95% VRAM под модель и кэш
--enable-prefix-caching \ # Включение кэширования префиксов (экономит до 85% вычислений!)
--port 8000Результаты бенчмарков: Одиночный запрос против 50 параллельных клиентов
- При 1 пользователе: Ollama выдает 62 токена/сек, vLLM выдает 65 токенов/сек (паритет).
- При 50 одновременных клиентах: Ollama встает в глухую очередь с задержкой ответа 45 секунд. vLLM за счет непрерывного батчинга выдает суммарную пропускную способность свыше 1200 токенов/сек!
Аппаратная верификация и метрики кремния
vllm serve local-llms-ollama-vllm-guide --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max-model-len 32768 --kv-cache-dtype fp8
Artur Moiseyev
AI Systems Architect
Независимый AI-исследователь и архитектор распределенных систем. Разрабатываю мультиагентные системы, открытые reasoning-модели и инфраструктуру реального времени.
Связанные статьи справочника
AM LABQwen 2.5 Coder 32B и 72B: Открытая модель, догнавшая Claude 3.5 Sonnet в реальном программировании
Серия моделей Qwen 2.5 Coder от Alibaba установила новые рекорды в бенчмарках EvalPlus и SWE-bench. Тестируем квантование 32B на потребительских GPU и подключение к Cursor и Cline.
AM LABGroq LPU против NVIDIA H100: Битва за скорость инференса и энергоэффективность в 2026 году
Почему LPUs достигают 500+ токенов/сек на Llama 3.3 70B, тогда как GPU упираются в пропускную способность памяти HBM. Сравнение детерминированной памяти SRAM и кластеров GPU.
AM LABКак запустить нейросеть локально с Ollama: Полный гид по железу и настройке в 2026 году
Запуск Llama 3.3, Qwen 2.5 Coder и DeepSeek-R1 офлайн на своем компьютере: расчет видеопамяти (VRAM), квантование GGUF, настройка Modelfile и Docker Compose.