Создание гибридного поиска: PostgreSQL pgvector + полнотекстовый BM25 + Cohere Rerank

-- Включаем расширение pgvector
CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    content TEXT NOT NULL,
    metadata JSONB,
    -- 1. Колонка для полнотекстового поиска (BM25)
    tsv_content TSVECTOR GENERATED ALWAYS AS (to_tsvector('russian', content)) STORED,
    -- 2. Колонка для плотных эмбеддингов (1536 измерений)
    embedding VECTOR(1536)
);

-- Индекс для мгновенного лексического поиска
CREATE INDEX idx_docs_tsv ON documents USING GIN(tsv_content);

-- Высокоскоростной векторный индекс HNSW
CREATE INDEX idx_docs_hnsw ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);