Динамический Test-Time Compute в открытых LLM: Реализация Best-of-N и MCTS на этапе инференса

import asyncio
from collections import Counter
from openai import AsyncOpenAI

client = AsyncOpenAI()

async def generate_candidate(prompt: str, temperature: float = 0.8) -> str:
    """Генерация одного независимого пути решения."""
    resp = await client.chat.completions.create(
        model="deepseek-chat",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature
    )
    return resp.choices[0].message.content

async def best_of_n_consensus(prompt: str, n_candidates: int = 5) -> str:
    """Параллельная генерация N решений и выбор ответа большинством голосов."""
    print(f"Запуск генерации {n_candidates} параллельных путей рассуждений...")
    tasks = [generate_candidate(prompt) for _ in range(n_candidates)]
    results = await asyncio.gather(*tasks)

    # В простейшем случае извлекаем финальный числовой ответ
    extracted_answers = []
    for r in results:
        if "ИТОГО:" in r:
            extracted_answers.append(r.split("ИТОГО:")[1].strip())

    if extracted_answers:
        winner, count = Counter(extracted_answers).most_common(1)[0]
        print(f"Победил ответ '{winner}' с поддержкой {count}/{n_candidates} голосов!")
        return winner
    return results[0]