Cloudflare будет по умолчанию блокировать AI-ботов смешанного использования

Cloudflare объявила о новой политике в отношении веб-ботов, которые одновременно индексируют страницы для поисковых систем и собирают данные для обучения моделей искусственного интеллекта. Компания заявила, что будет по умолчанию блокировать такие боты «смешанного использования».

Как сообщает Valyuta.az, ранее этот механизм защиты предлагался владельцам сайтов в качестве опции, однако теперь он будет автоматически активироваться на новых интернет-ресурсах.

Генеральный директор Cloudflare Мэтью Принс заявил, что значительную часть интернет-трафика уже формируют не люди, а автоматизированные боты.

По его словам, новая система предоставит владельцам сайтов больше контроля и сделает более прозрачным то, с какой целью компании в сфере искусственного интеллекта собирают данные. Новые правила вступят в силу 15 сентября 2026 года.

С этой даты политика будет автоматически применяться к новым клиентам Cloudflare, а также к новым сайтам, создаваемым действующими пользователями.

В рамках новой системы поисковым системам будет разрешено индексировать страницы. Однако боты, собирающие данные со страниц с рекламой для обучения моделей искусственного интеллекта или для AI-агентов, по умолчанию будут блокироваться.

Такие же ограничения будут применяться к ботам, которые не предоставляют владельцам сайтов отдельной возможности выбора по этим функциям, то есть одновременно работают и для индексирования, и для целей искусственного интеллекта.

Бесплатные пользователи Cloudflare также будут автоматически переведены на новую систему, если не изменят настройки до 15 сентября.

Компания также обновила модель Pay Per Crawl, представленную в 2025 году, переименовав ее в Pay Per Use.

В прежней модели компании в сфере искусственного интеллекта платили при сканировании содержимого сайта. В новой модели плата будет взиматься только в том случае, если этот контент используется в ответе AI-чат-бота.

Cloudflare сообщила, что в рамках этой системы сейчас сотрудничает с Ceramic.AI и You.com, а в будущем ожидает присоединения к проекту большего числа компаний в сфере искусственного интеллекта.

В заявлении компании также содержится косвенная критика в адрес Google.

Cloudflare считает, что крупнейшая в мире поисковая система получает доступ примерно к вдвое большему объему данных по сравнению с другими компаниями в сфере искусственного интеллекта. Это связано с тем, что Googlebot используется как для индексирования интернет-страниц в поисковой выдаче, так и для сбора данных для таких AI-сервисов, как Gemini и AI Overviews.

Отмечается, что помимо Googlebot для классического поиска Google представила механизм управления Google-Extended, который позволяет издателям ограничивать использование их контента для обучения моделей искусственного интеллекта. Однако если издатели хотят, чтобы их контент отображался в функции AI Mode, но при этом не использовался для обучения AI-моделей, они не могут настроить это отдельно.

Главная цель новой политики Cloudflare — стимулировать компании, прежде всего Google, которые используют одного и того же бота как для поиска, так и для целей искусственного интеллекта, перестроить свои системы.

Паша Мамедли