Qwen 2.5 Coder 32B и 72B: Открытая модель, догнавшая Claude 3.5 Sonnet в реальном программировании
Qwen 2.5 Coder стал золотым стандартом открытых моделей для разработки программного обеспечения. Набрав 92.7% в HumanEval и опередив оригинальный GPT-4 в рефакторинге многофайловых проектов, версия 32B в 4-битном квантовании работает на скорости 85+ токенов/сек на обычной домашней видеокарте RTX 4090.
AM LABАнализ бенчмарков: EvalPlus, HumanEval и SWE-bench
Обученный на 5.5 триллионах токенов кода на 92 языках программирования, Qwen 2.5 Coder демонстрирует безупречное понимание строгой типизации TypeScript, асинхронности Python и владения памятью в Rust.
Развертывание через vLLM на видеокарте 24 ГБ
С помощью квантования AWQ модель занимает всего 18.4 ГБ видеопамяти, что позволяет комфортно запускать ее локально без облачных подписок:
vllm serve Qwen/Qwen2.5-Coder-32B-Instruct-AWQ \
--quantization awq \
--max-model-len 32768 \
--gpu-memory-utilization 0.92 \
--enable-chunked-prefill \
--max-num-seqs 64 \
--port 8000Аппаратная верификация и метрики кремния
vllm serve qwen-2-5-coder-local-benchmarks-deep-dive --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max-model-len 32768 --kv-cache-dtype fp8
Artur Moiseyev
AI Systems Architect
Независимый AI-исследователь и архитектор распределенных систем. Разрабатываю мультиагентные системы, открытые reasoning-модели и инфраструктуру реального времени.
Связанные статьи справочника
AM LABGroq LPU против NVIDIA H100: Битва за скорость инференса и энергоэффективность в 2026 году
Почему LPUs достигают 500+ токенов/сек на Llama 3.3 70B, тогда как GPU упираются в пропускную способность памяти HBM. Сравнение детерминированной памяти SRAM и кластеров GPU.
AM LABКак запустить нейросеть локально с Ollama: Полный гид по железу и настройке в 2026 году
Запуск Llama 3.3, Qwen 2.5 Coder и DeepSeek-R1 офлайн на своем компьютере: расчет видеопамяти (VRAM), квантование GGUF, настройка Modelfile и Docker Compose.
AM LABЛучшие открытые нейросети для видеокарт RTX 3060 и 4060: Тир-лист моделей для 8 и 12 ГБ VRAM
Практический тир-лист открытых моделей для популярных видеокарт: какие квантования (Q4_K_M, EXL2) дают максимальную скорость без падения точности на 8 и 12 ГБ VRAM.