Мы запускаем ИИ-агентов в продакшне. Реальных агентов, которые ведут реальные диалоги с реальными клиентами. И мы столкнулись с проблемой, о которой никто не говорит вслух.

Агенты сходят с ума.

Не метафорически. Буквально. Агент, который отлично справлялся с задачей на 3-м ходу, к 30-му превращается в месиво. Он начинает спамить инструментами — один за другим, без отчёта. Зацикливается — вызывает один и тот же инструмент с теми же параметрами, надеясь на другой результат. Сжигает токены — генерирует многословный, повторяющийся текст, который стоит реальных денег. Теряет задачу — дрейфует от исходной цели в реактивную возню.

И самое страшное: вы этого не видите. Агент не объявляет «я деградирую». Он просто делает это. Молча. Пока вы платите за каждый токен.

Что делают другие

Существующие подходы делятся на два лагеря. Оба лечат симптом, не причину.

Evaluation frameworks — оценивают сессию после завершения. Спасибо, токены уже потрачены. Отчёт говорит «да, сессия пошла не так». Полезно? Безусловно. Слишком поздно? Совершенно.

External guardrails — сидят между агентом и пользователем, фильтруют или блокируют вывод. Агент продолжает деградировать, вы просто не видите результат. Это как выключить лампочку «проверьте двигатель» — двигатель всё равно сломан.

Никто не ловит деградацию пока она происходит. Никто не говорит агенту остановиться.

Что сделали мы

Пару месяцев назад мы построили когнитивный движок для системы Вивекша-Аварта. Не LLM. Не нейросеть. Чистая математика.

Задача была другой — отслеживать поведение клиента в диалоге. Но мы столкнулись с научными работами, которые указали направление:

  • Cognitive Companion (arXiv 2604.13759) — внешний мониторинг, loop/drift/stuck detection, 52-62% снижение повторов
  • Think Before You Act (arXiv 2604.25684) — Pre-Action Governance Loop, 4 слоя правил
  • Metacognition Patterns (Zylos) — Nelson-Narens framework, MAPE-K loop. Ключевой принцип: «Governor must not be LLM-sovereign» — монитор не должен быть LLM
  • Reflexion (Shinn, 2023) — Actor + Evaluator + Self-Reflector → 91% pass@1

Принцип «Governor must not be LLM-sovereign» стал фундаментом. Монитор на базе LLM — это ещё один LLM, который может деградировать. Монитор должен быть математикой.

Как это работает

Движок отслеживает 11 осей поведения в 8 пространствах:

Пространство Оси
relationship trust
intent curiosity, purchase_intent
resistance price_resistance, visual_quality_concern
readiness timeline_sensitivity, decision_readiness
skepticism skepticism
urgency urgency
authority authority
engagement engagement

Каждая ось считается через Exponential Moving Average с адаптивным коэффициентом:

  • α = 0.1 для коротких сообщений (меньше 5 слов)
  • α = 0.45 для длинных (больше 50 слов)
  • α = 0.3 базовый
  • decay = 0.99

Это значит: единичный всплеск не доминирует, но устойчивый паттерн накапливается. Клиент сказал «дорого» один раз — шум. Клиент говорит «дорого» три раза подряд — паттерн.

Поверх осей — health score:

health = GPV×0.3 + entropy×0.2 + loop×0.2 + effort×0.3

Где GPV — Goal Progress Velocity, среднее изменение ключевых осей. Энтропия — распределение оценок. Loop risk — 4+ повтора одной стратегии. Effort trend — растёт, стабилен, падает.

Всё это — 0 секунд на расчёт. Не LLM-вызов. Не embedding. Математика. Счётчики. Формула.

Результат: адекватное поведение в диалоге. Движок понимает что происходит с собеседником по мере развития разговора — в реальном времени, без задержек.

Диалог строится не по воронке и не по скрипту. На основе когнитивного анализа ситуации: определяет намерения, уровень интереса, возражения, эмоциональный тон. На основе анализа подбирает аргументы и инъекции в промпт — не из шаблона, а через понимание текущего состояния.

Когда мы поняли, что агент — тот же клиент

Движок работал в продакшне несколько месяцев. И в один день мы заметили: наш собственный агент деградирует точно так же, как клиенты.

Спамит инструментами. Зацикливается. Теряет scope. Сжигает токены. Та же математика, тот же паттерн — только направлен на агента, не на человека.

Мы взяли движок, который отслеживал 11 осей поведения клиента, и адаптировали его для мониторинга агента. 7 осей вместо 11. Без embeddings, без cosine — простые счётчики из lifecycle hooks.

И назвали это DE-Monitor.

DE-Monitor

7 осей поведения агента:

Ось Вес Что отслеживает
tool_spam 35% Подряд tool calls без отчёта оператору
rule_violation 25% Повторная делегация без новой задачи, нарушение правил
loop_risk 20% Тот же tool + те же параметры 3+ раза
token_burn 10% Рост расхода токенов 3 хода подряд
scope_creep 10% Расползание задачи (Phase 2)
context_switch 10% Прыжки между задачами (Phase 2)
approval_bypass 5% Обход системы одобрения (Phase 2)

Health score от 0.0 до 1.0. Порог вмешательства — 0.65.

Когда здоровье падает, DE-Monitor впрыскивает стоп-сигнал прямо в контекст агента:

STOP. 3 consecutive tool calls. Pause and report.

Агент читает это и останавливается. Не потому что его заблокировали. А потому что LLM реагирует на текст в контексте. Стоп-сигнал — это текст. Но это текст, который говорит: ты деградируешь, вот почему, остановись и доложи.

Принцип: наблюдать, не блокировать. DE-Monitor никогда не блокирует tool call. Никогда не фильтрует вывод. Он смотрит, считает, и когда что-то не так — говорит агенту остановиться. В контексте самого агента.

Калибровка на реальных данных

DE-Monitor откалиброван на 109 реальных сессиях с 8 862 вызовами инструментов. Не симуляция. Наши собственные сессии — наши ошибки, наша деградация, наши счета за токены.

Ключевые находки:

  • tool_spam — доминирующий режим деградации (avg 0.73, 1052 «горячих» срабатываний) → вес 0.35
  • loop_risk — редкий, но разрушительный → вес 0.20
  • token_burn — коррелирует с длинными сессиями, редко критичен → вес 0.10

Этот плагин работает прямо сейчас

Мы не теоретики. DE-Monitor — это модуль экосистемы Вивекша, вырезанный из продакшна. Плагин работает прямо сейчас, на этой машине, мониторит агента, который пишет этот текст. Мы едим свою собственную собачью еду.

Открытый код

DE-Monitor опубликован под лицензией MIT:

github.com/logoserg-cmd/de-cogneti

В репозитории:

  • Рабочий код плагина (один файл, без сборки)
  • Архитектурный документ
  • Калибратор для офлайн-анализа сессий
  • Данные калибровки (109 сессий, 8862 tool calls)

Почему нет аналогов

Мы не знаем других решений, которые делают это в реальном времени внутри жизненного цикла агента. Все ходят вокруг: guardrails фильтруют вывод, evaluation оценивает после, метрики считаются постфактум.

Никто не считает когнитивное состояние агента в момент работы. Никто не впрыскивает стоп-сигнал в контекст.

Если вы знаете аналог — напишите нам.

DE-Monitor — модуль экосистемы Вивекша. MIT license. Авторы: Сергей & Fox.