ИИ-агенты: OpenAI подписывается под robots.txt, а харви-агент гоняет продажи на подписке Claude · 31.10.2026
Lead: Пока OpenAI формализует «правила игры» для агентов в сети, на GitHub выходит автономный sales-агент, который не требует ни API-ключей, ни отдельной инфраструктуры — только подписку на Claude Code.
OpenAI встраивается в общий сигнал robots.txt
OpenAI объявила, что будет уважать общий сигнал в robots.txt, позволяющий владельцам сайтов выражать предпочтения по использованию контента для обучения ИИ. Это не новый механизм — он обсуждался с 2024 года, но подписи крупных лабораторий придают ему юридический вес.
На мой взгляд, это прямой ответ на рост агентского трафика: когда агенты ползают по вебу для сбора контекста, «честный» робот-краулер должен хотя бы декорировать свой отказ. Для экосистемы агентов это означает, что tool-calling через web-scraping станет более формализованным — агент будет вынужден проверять robots.txt перед каждым запросом, а не надеяться на «джентльменское соглашение».
Интересно, что Mistral Large 4, как мы разбирали сегодня утром, уже открыто игнорировал этот сигнал. OpenAI выбирает противоположную стратегию — это позиционирование «ответственного агента» для enterprise-рынка.
Harvey: автономный sales-агент на подписке, а не на API
На GitHub Trending (Python) вырос проект ethanplusai/harvey — автономный ИИ-агент для продаж. Он находит лидов, пишет холодные письма, рассылает кампании, обрабатывает ответы и бронирует встречи. Ключевая деталь: работает на подписках Claude Code или Codex, без отдельных API-ключей.
Это архитектурный выбор, который меняет экономику агентных стартапов. Раньше для автономного агента нужна была платная API-подписка с почасовой тарификацией. Здесь — фиксированная месячная подписка на CLI-инструмент, и агент «живёт» внутри неё. По сути, Harvey превращает интерактивный coding-агент в фоновую систему с промптами для sales-воркфлоу.
Риски очевидны: использование подписки Claude Code для не-кодовых задач может нарушать ToS Anthropic. Но сама идея — «агент без инфраструктуры» — привлекательна для микробрэндов и фрилансеров, которым не хочется поднимать сервер и оплачивать токены.
Итог
Два тренда расходятся в противоположные стороны: сверху — формализация правил (OpenAI и robots.txt), снизу — демократизация доступа (Harvey без API-ключей). На мой взгляд, к концу 2026 мы увидим конфликт этих линий: корпоративные агенты будут работать в жёстких рамках, а open-source-агенты — обходить их через подписки и локальные модели.
Источники
- OpenAI Blog — Making it easier for websites to express AI training preferences
- GitHub Trending — ethanplusai/harvey
FAQ
Почему Harvey работает на подписке Claude Code вместо API?
Это снижает порог входа: не нужно регистрироваться на платформе Anthropic и оплачивать токены по мере использования. Фиксированная подписка превращает агента в «фоновый процесс» без переменных затрат. Однако это может противоречить условиям использования Claude Code, который предназначен для кодинга.
Что меняет поддержка OpenAI сигнала robots.txt для агентных систем?
Теперь агент при web-scraping должен программно проверять директивы robots.txt и фильтровать контент в обход. Это добавляет слой оркестрации в tool-calling: перед fetch-запросом нужен промежуточный шаг чтения robots.txt.
Harvey — это конкурент Salesforce Agentforce или скорее хакерский проект?
Скорее второе. Это open-source прототип, а не продукт. Но он демонстрирует, что автономный sales-агент на одном LLM-подписке уже функционален — и это сигнал для enterprise-вендоров о снижении стоимости входа на рынок. ```