Companion prototype

Не помощник по справке, а живой AI-спутник для прохождения.

Это первый продуктовый слой под новый вектор ИгроРадара. Здесь мы уже тестируем характер, режимы общения, spoiler-safe правила и связку локального контекста с LLM API.

Screen-aware

Слой для текущей сцены, субтитров, HUD и повторяющихся событий.

Spoiler-safe

Напарник ограничен видимым контекстом и не уходит в знание всей игры.

Voice-ready

Архитектура готова к голосу, но MVP не зависит от дорогого always-on режима.

Screen context lab

Сначала собираем сигналы с экрана, затем превращаем их в сцену, на которую уже может реагировать напарник.

Контекстные пресеты
Это уже прослойка между будущим screen capture и голосом напарника.

Companion voice line

Здесь уже собираем финальную реплику: руками или из результата анализатора.

Режим
Ручные сценарии

Scene analysis

Здесь видно, что именно движок считает происходящим и стоит ли вообще давать реплику.

Пока нет анализа. Слева можно собрать экранный контекст и посмотреть, как система классифицирует момент.

Как отвечает напарник

Коротко, в характере и уже с учётом анализа сцены, если он есть.

AI voice line

Сейчас напарник молчит и ждёт, пока ты соберёшь сцену или задашь её руками.

provider: not selectedmodel: pendingsource: pending

Что уже заложено в слой

Новый маршрут /api/companion/analyze превращает экранные сигналы в структурированную сцену.
Reply-маршрут умеет учитывать detected scene и summary анализатора при генерации реплики.
Fallback-режим теперь тоже понимает тип сцены, а не только сырой текст ситуации.

Runtime ingest lab

Симулируем поток игровых событий в одной сессии и смотрим, когда policy разрешает напарнику говорить.

Runtime пресеты
Вбросить одно событие голоса игрока
Повтор полезен, чтобы увидеть suppress из-за cooldown.

Policy decision

Решение рантайма: говорить сейчас, ждать или молчать.

Пока нет runtime-результата. Слева можно отправить пакет событий и посмотреть, как policy отработает на живой сессии.

Session queue

Последние события в bounded queue, на основе которых строится snapshot сцены.

Очередь пуста. После первого ingest тут появятся события текущей игровой сессии.

Что дальше по продукту

1. Локальный клиент захвата кадров и OCR с батчингом событий.

2. Больше runtime policy: не говорить поверх катсцен, меню и важных реплик NPC.

3. Настоящий голосовой loop с дешёвым live-режимом и локальным VAD.

Первые игры для запуска

Elden Ring

мрачное фэнтези, опасность за каждым углом, уважение к тишине и напряжению

Cyberpunk 2077

неон, улицы, нервная энергия и быстрые саркастичные реакции

Baldur's Gate 3

партия авантюристов, моральный выбор, спокойная, наблюдательная и иногда ехидная манера речи