ИИ-агенты: люди пропускают треть угроз, пока агенты сами пишут код и взламывают системы

ИИ-агенты становятся автономнее с каждой неделей, но контроль человека над их действиями стремительно теряет смысл: исследование 40 тысяч игровых сценариев показало, что люди пропускают треть угроз, одобряя команды агентов. Пока дискуссии о безопасности продолжаются, open-source инструменты уже позволяют агентам самостоятельно проводить пентесты и писать код.

Человек как узкое место: треть угроз одобрена

Исследование ScaleX на 40 тысячах запусков показало: люди пропускают примерно одну из трёх угроз при одобрении команд ИИ-агентов. Это не статистическая погрешность — это системная неспособность человека выступать надёжным «гейткипером» (привратником) для автономных систем. Объём команд, которые генерируют агенты, превышает когнитивную способность человека к проверке.

На мой взгляд, это главный парадокс текущего этапа: индустрия строит агентов, рассчитывая на human-in-the-loop (человека в контуре) как механизм безопасности, но эмпирические данные показывают, что этот механизм сломан. Люди одобряют почти всё — от усталости, невнимательности или просто потому, что не успевают читать. Решение — не больше контроля, а структурные ограничения прав доступа на уровне архитектуры.

VulnClaw: агент для автономного пентеста

Проект VulnClaw от Unclecheng-li — это CLI-инструмент (инструмент командной строки), который на базе LLM-агента, цепочки инструментов MCP (Model Context Protocol) и навыков (skills) выполняет полный цикл пентеста: от сбора информации до эксплуатации уязвимости и генерации отчёта. Ввод на естественном языке — на выходе готовый результат атаки.

Проект быстро набирает популярность на GitHub. Это показательный пример того, как MCP превращается из теоретического протокола в реальный инструмент оркестрации: агент вызывает внешние инструменты через стандартизированный интерфейс, выстраивая цепочку действий без ручного вмешательства.

Open-SWE от LangChain: внутренние агенты для разработки

LangChain выпустил open-swe — открытый фреймворк для создания внутренних кодирующих агентов внутри компаний. Репозиторий ориентирован на организации уровня Stripe, Ramp и Coinbase, которые уже строят собственных агентов в виде Slack-ботов, CLI и веб-приложений.

Фреймворк поддерживает асинхронное выполнение задач — агент работает в фоне, обращаясь к кодовой базе, выполняя изменения и возвращая результат. Это смещение фокуса: от чат-интерфейсов к агентам, интегрированным в существующий рабочий процесс инженера. Разработка с ИИ всё больше напоминает работу с автономным ассистентом, а не диалоговым окном — что подтверждает и обсуждение на Hacker News, где разработчики сравнивают процесс с «приготовлением стейка»: порог входа падает, результат становится предсказуемым.

Crawl4AI и awesome-claude-skills: экосистема инструментов расширяется

Crawl4AI от unclecode — открытый веб-краулер (программа для сбора данных), спроектированный специально для LLM: он отдаёт данные в формате, удобном для прямого потребления языковыми моделями. Проект готовит запуск облачного API для масштабного извлечения данных.

Параллельно ComposioHQ собрал каталог awesome-claude-skills — более тысячи готовых навыков и плагинов для Claude, охватывающих сценарии от Claude Code до кастомных рабочих процессов. На мой взгляд, эти два проекта вместе отражают зрелость экосистемы: инструменты для сбора данных и библиотеки навыков формируют слой, на котором агенты перестают быть демо и становятся продакшен-системами.

Инфраструктура: AMD и Taalas — модели в кремнии

AMD приобрела стартап Taalas, который «выжигает» модели ИИ непосредственно в кремний для ускорения инференса (вывода). Это не напрямую про агентов, но критично для их архитектуры: агенты с tool-calling делают множество последовательных вызовов LLM, и задержка на каждом шаге суммируется. Ускорение инференса на аппаратном уровне — предпосылка для агентов, работающих в реальном времени.

Итог

Тренд недели — расхождение между растущей автономностью агентов и деградирующим человеческим контролем. Open-source инструменты (VulnClaw, open-swe, Crawl4AI) делают агентов доступными и функциональными, а каталоги навыков вроде awesome-claude-skills ускоряют внедрение. Но исследование ScaleX показывает, что модель human-in-the-loop не работает при текущих объёмах. Следующий шаг индустрии — не больше интерфейсов одобрения, а sandbox-изоляция и политические ограничения на уровне архитектуры. Если человек не может быть надёжным контролёром, система должна быть безопасной по умолчанию.

Источники

1. ScaleX — AI Agent Permissions Stats
2. GitHub — VulnClaw
3. GitHub — open-swe by LangChain
4. GitHub — Crawl4AI
5. GitHub — awesome-claude-skills
6. The Register — AMD acquires Taalas
7. Sydorets — Software development with AI

FAQ

Почему human-in-the-loop не работает для ИИ-агентов?

Человек физически не успевает проверять объём команд, которые генерирует агент. В исследовании на 40 тысяч запусков люди одобрили треть вредоносных действий — из-за усталости и когнитивной перегрузки.

Что такое MCP и зачем он нужен агентам?

Model Context Protocol — стандарт для подключения внешних инструментов к LLM. Позволяет агенту вызывать функции через единый интерфейс, не требуя ручной интеграции каждого инструмента отдельно.

Чем open-swe отличается от обычного чат-ассистента для кода?

Open-swe — асинхронный агент, который работает в фоне, интегрируется в Slack, CLI или веб-приложение и взаимодействует с кодовой базой напрямую, а не через диалоговое окно.

Зачем нужен Crawl4AI, если есть обычные веб-скраперы?

Crawl4AI отдаёт данные в формате, оптимизированном для потребления LLM. Обычные скраперы требуют промежуточной обработки перед подачей в модель — здесь этот шаг устранён.

Как покупка Taalas компанией AMD связана с ИИ-агентами?

Агенты с tool-calling делают множество последовательных вызовов LLM, и задержка накапливается. Выжигание моделей в кремний ускоряет инференс на аппаратном уровне, что критично для агентов реального времени.

Источники

1. https://blog.sydorets.com/en/posts/almost-no-skill-required-to-cook-a-steak/
2. https://deepmind.google/blog/weathernext-ai-model-achieves-breakthrough-in-forecasting-cyclones/
3. https://scalex.dev/blog/ai-agent-permissions-stats/
4. https://openai.com/index/improving-gpt-5-6-sol-in-chatgpt
5. https://github.com/langchain-ai/open-swe
6. https://github.com/ComposioHQ/awesome-claude-skills
7. https://www.theregister.com/systems/2026/08/06/amd-acquires-ai-chip-startup-taalas-to-boost-inference-performance-by-etching-models-into-silicon/5284344
8. https://github.com/unclecode/crawl4ai
9. https://github.com/Unclecheng-li/VulnClaw