GPTBot и ИИ-краулеры: как проверить, что нейросети видят сайт

Сайт открыт для Яндекса и Google — но это ещё не значит, что он открыт для ChatGPT, Claude и Perplexity. У GPTBot и других ИИ-краулеров свои имена, свои правила в robots.txt и свои причины получить отказ от сервера. Разбираем, какие боты бывают, кого из них пускать и как за 15 минут проверить, что нейросети действительно доходят до ваших страниц.

Что такое GPTBot и чем ИИ-краулер отличается от поискового робота

ИИ-краулер (AI crawler) — это бот компании-разработчика нейросети, который скачивает страницы сайтов для обучения модели, для поискового индекса ИИ-ассистента или чтобы открыть страницу по запросу пользователя. Он работает так же, как поисковый робот: отправляет HTTP-запрос и читает ответ сервера. Отличается цель: данные идут не в поисковую выдачу, а в нейросеть.

GPTBot — краулер компании OpenAI. Он собирает общедоступные страницы, которые могут использоваться для обучения моделей. У GPTBot свой user agent, отдельный от Googlebot и YandexBot. Отсюда главный вывод: настройки для поисковых роботов ничего не говорят о доступе для GPTBot. Сайт может прекрасно индексироваться в Яндексе и при этом отдавать GPTBot ошибку 403 — и вы об этом не узнаете, пока не посмотрите логи. Поэтому доступ для ИИ-краулеров проверяют отдельно, а не по косвенным признакам.

Три роли ботов: обучение, поиск, запрос пользователя

Чтобы не запутаться в десятке имён, удобно делить всех ИИ-ботов по роли. От роли зависит, что вы теряете, когда закрываете бота.

1. Обучение. Бот собирает тексты, на которых обучают будущие версии модели. Пример — GPTBot. Если его закрыть, новые материалы сайта не попадут в обучающие данные. На ответы ChatGPT с поиском по интернету это напрямую не влияет.
2. Поиск. Бот строит собственный индекс ИИ-ассистента, из которого тот берёт источники для ответа со ссылками. Пример — OAI-SearchBot. Если его закрыть, сайт перестанет показываться как источник в поисковых ответах этого ассистента.
3. Запрос пользователя. Бот открывает конкретную страницу, когда человек в чате попросил ассистента прочитать ссылку или найти свежую информацию. Пример — ChatGPT-User. Такой бот ходит не по расписанию, а в моменте, за одной-двумя страницами.

На этой рамке строится всё остальное: таблица ботов, настройки robots.txt и решение, кого пускать.

Какие ИИ-краулеры заходят на сайты: таблица ботов

Сводка основных ИИ-краулеров. Имена и роли меняются, поэтому перед правкой robots.txt сверяйте их с официальной документацией компаний.

Отдельно о GigaChat: публично задокументированного краулера с собственным user agent у него на момент публикации нет, поэтому в таблицу мы его не включаем.

Обратите внимание на последнюю строку. У Яндекса нет отдельного «ИИ-бота» для ответов: Алиса и Яндекс Нейро опираются на обычный поисковый индекс. Поэтому для российских нейросетевых ответов главное — чтобы сайт нормально индексировал YandexBot.

GPTBot vs ChatGPT-User и OAI-SearchBot: в чём разница

У OpenAI три бота, и их часто путают.

• GPTBot — краулер для обучения. Ходит по сайту регулярно и широко, как классический crawler. Закрытие GPTBot означает: «не используйте мои тексты для обучения».
• OAI-SearchBot — бот поиска ChatGPT. Он формирует индекс, из которого ChatGPT берёт ссылки на источники, когда отвечает с поиском. Если вам важно, чтобы сайт цитировался в ответах ChatGPT, этот бот должен быть открыт.
• ChatGPT-User — бот по запросу пользователя. Он приходит, когда человек вставил вашу ссылку в чат или ассистент пошёл за конкретной страницей в ходе ответа.

ClaudeBot и PerplexityBot

У Anthropic похожее деление. ClaudeBot собирает данные для обучения моделей Claude. Для поиска и для запросов пользователя у компании отдельные боты — Claude-SearchBot и Claude-User. Логика та же, что у OpenAI: закрытие ClaudeBot отключает обучение, но не обязательно поиск.

У Perplexity два основных бота. PerplexityBot индексирует сайты для поиска Perplexity и определяет, сможет ли сервис показать ваш сайт как источник. Perplexity-User открывает страницы, когда человек задаёт вопрос. Закрытие PerplexityBot почти всегда означает потерю видимости в ответах сервиса.

Google-Extended — не про AI Overviews

Здесь чаще всего ошибаются, в том числе в популярных статьях. Google-Extended — это не отдельный робот, а токен в robots.txt. Он управляет тем, можно ли использовать ваш контент для моделей Gemini. На поиск Google и на блок AI Overviews он не влияет: AI Overviews строятся на индексе обычного Googlebot.

Из этого следуют два правила:

• закрыть Google-Extended не значит выпасть из AI Overviews — сайт остаётся в поиске и может показываться в обзорах;
• закрыть Googlebot значит выпасть из поиска Google совсем, вместе с AI Overviews.

Переименования и новые боты

Список ИИ-краулеров не статичен. Компании выпускают новых ботов, делят старых по ролям и выводят из оборота прежние имена. Правило в robots.txt, написанное под устаревшее имя, перестаёт работать: бот приходит под новым user agent, и для него действует общее правило для *. Пример — Anthropic: в старых robots.txt до сих пор встречаются имена anthropic-ai и Claude-Web, а сейчас компания разделяет ботов на ClaudeBot, Claude-SearchBot и Claude-User. Правило под старое имя новых ботов не остановит.

Поэтому раз в несколько месяцев сверяйте свой robots.txt со страницами документации о ботах у OpenAI, Anthropic, Perplexity и Google.

Пускать или закрывать: как решить для своего сайта

Главная практическая мысль статьи: обучение и поиск можно развести. Вы закрываете GPTBot — контент не уходит в обучение. Вы оставляете OAI-SearchBot и ChatGPT-User — сайт может появляться в ответах ChatGPT с поиском и открываться по запросу пользователя. То же самое работает с Anthropic и Google: ClaudeBot и Google-Extended можно закрыть, не трогая поисковых ботов.

Кому разумно пускать всех ИИ-краулеров:

• блогам и контент-проектам, которые живут за счёт охвата и цитирования;
• компаниям услуг, которым важна видимость в нейросетях, — например, условному сайту клиники;
• интернет-магазинам с открытым каталогом, которым выгодно, чтобы ассистент знал ассортимент.

Кому есть смысл ограничивать:

• сайтам с платным или уникальным контентом, который и есть продукт: аналитика, исследования, база знаний по подписке;
• проектам, где боты создают заметную нагрузку на сервер, а хостинг слабый;
• сайтам, которые принципиально не хотят отдавать тексты в обучение моделей. Важная оговорка: открытый доступ — это условие, а не гарантия. Если бот видит сайт, это не значит, что нейросеть процитирует его в ответе на конкретный вопрос. Попадание в конкретный ответ нейросети не гарантируется: ответы вероятностные и зависят от контента, структуры страниц и авторитета источника. Доступ лишь убирает техническую причину, по которой вас точно не процитируют.

Как настроить GPTBot в robots.txt

Правила для ИИ-краулеров пишутся так же, как для любых ботов: блок User-agent и директивы Allow или Disallow. Общий синтаксис и типичные ошибки разобраны в статье robots.txt и sitemap.xml: как настроить для SEO; здесь — только готовые варианты под ИИ.

Вариант 1. Разрешить всех ИИ-ботов. Если в файле нет отдельных блоков для них и нет общего Disallow: /, они уже разрешены. Явное правило полезно, чтобы через год никто случайно его не перекрыл:

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
Allow: /

Вариант 2. Закрыть только обучение (gptbot disallow), оставить поисковых ботов:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
Allow: /

Вариант 3. Закрыть для GPTBot только раздел сайта — например, личный кабинет или платную базу:

User-agent: GPTBot
Disallow: /members/
Allow: /

Учтите: если в файле есть блок с именем бота, общий блок для * к нему уже не применяется. Все нужные запреты для GPTBot пишите в его собственный блок.

Соблюдает ли GPTBot robots.txt

Короткий ответ на вопрос «does gptbot respect robots txt»: по заявлению OpenAI — да, GPTBot следует правилам robots.txt. То же заявляют для своих краулеров другие крупные компании.

Но robots.txt — это просьба, а не замок. Файл ничего технически не блокирует: добросовестный бот его читает и выполняет, недобросовестный — игнорирует. Кроме того, любой парсер может представиться GPTBot, подставив чужой user agent, и правила для настоящего GPTBot его не остановят. Поэтому для жёсткой защиты нужен сервер, а не robots.txt (об этом ниже).

Отдельный случай — боты по запросу пользователя. Они действуют от имени человека, и часть компаний пишет в документации, что такие боты могут не следовать robots.txt. Прежде чем рассчитывать на запрет для ChatGPT-User, Claude-User или Perplexity-User, проверьте актуальную формулировку у каждой компании.

Как проверить, что ИИ-краулеры видят сайт: пошагово

Настройка ничего не стоит без проверки. Пять шагов ниже закрывают почти все причины, по которым нейросети «не видят» сайт. Идите по порядку.

Шаг 1. Посмотреть живой robots.txt

Откройте в браузере адрес ваш-сайт.ru/robots.txt. Смотрите именно живой файл: CMS, плагины и хостинг часто генерируют robots.txt сами.

Что проверить:

• нет ли общего Disallow: / для User-agent: * — он закрывает сайт для всех ботов без отдельного блока, включая ИИ-краулеров;
• нет ли отдельных блоков для GPTBot, ClaudeBot, PerplexityBot и других, о которых вы не знали;
• не добавила ли CMS или хостинг «защиту от ИИ-ботов» по умолчанию — некоторые платформы делают это одной галочкой в настройках;
• нет ли устаревших имён ботов, которые уже ничего не закрывают.

Шаг 2. Найти ботов в логах сервера

robots.txt показывает намерения, логи — реальность. В access.log веб-сервера видно, приходил ли бот, какие страницы запрашивал и что получил в ответ. Логи обычно лежат в панели хостинга или на сервере в папке nginx или Apache.

Команда, которая находит основных ИИ-краулеров и считает коды ответов:

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log \
  | awk '{print $9}' | sort | uniq -c | sort -rn

Как читать результат:

• 200 — бот получает страницы, всё хорошо;
• 301/302 — редиректы; нормально, если их немного и они ведут на рабочие адреса;
• 403 — сервер или защита отказывает боту, это главный сигнал проблемы;
• 429 — бот упирается в ограничение частоты запросов;
• 5xx — сервер падает под нагрузкой или ошибается на этих запросах.

Если ботов в логах нет совсем, а сайт не новый, причина обычно выше по цепочке: robots.txt, CDN или защита хостинга.

Шаг 3. Проверить ответ сервера через curl -A

Логи показывают прошлое, а curl позволяет проверить ответ прямо сейчас. Отправьте запрос с user agent GPTBot и сравните с обычным:

curl -sI -A "Mozilla/5.0; compatible; GPTBot/1.0; +https://openai.com/gptbot" https://ваш-сайт.ru/
curl -sI https://ваш-сайт.ru/

Если оба запроса возвращают одинаковый код (обычно 200) и похожий размер ответа, сервер не дискриминирует бота по имени. Если на запрос с «GPTBot» пришёл 403, страница с капчей или подозрительно короткий ответ — сервер, CDN или плагин безопасности режет ИИ-краулеров. Повторите проверку для ClaudeBot и PerplexityBot: правила защиты часто написаны под конкретные имена.

Ограничение метода: curl проверяет только реакцию на user agent. Если защита смотрит на IP-адрес, ваш запрос пройдёт, а настоящий бот — нет, поэтому логи из шага 2 важнее.

Шаг 4. Сверить IP с опубликованными диапазонами

User agent подделать легко, поэтому крупные компании публикуют IP-диапазоны своих ботов (gptbot ip range). OpenAI выкладывает отдельные JSON-списки адресов для GPTBot, OAI-SearchBot и ChatGPT-User на своём сайте, похожие списки есть у других разработчиков. Актуальные ссылки ищите в разделе документации о ботах каждой компании на дату проверки: адреса обновляются.

Как применить:

1. Выгрузите из логов IP-адреса, с которых приходили запросы с «GPTBot» в user agent.
2. Сравните их с опубликованными диапазонами.
3. Запрос с «GPTBot» в user agent с чужого IP — подделка: так часто маскируются парсеры.

Шаг 5. Проверить, что бот видит контент, а не пустой шаблон

Бот может получить код 200 и всё равно не увидеть текст. Так бывает, когда страница собирается в браузере скриптами: сервер отдаёт пустой шаблон, а статья подгружается JavaScript-ом после загрузки.

Как проверить:

• откройте страницу с отключённым JavaScript в браузере;
• или посмотрите исходный код страницы (Ctrl+U) и найдите в нём фразу из середины статьи;
• или сохраните ответ curl в файл и поищите текст там.

Если текста в исходном HTML нет, исходите из того, что ИИ-краулер его не увидит: не стоит рассчитывать, что бот выполнит ваш JavaScript. Типичные случаи — одностраничные приложения (SPA) без серверного рендеринга, бесконечный скролл вместо пагинации, вкладки и аккордеоны, содержимое которых загружается по клику.

Почему бот пущен, а страницу не видит: частые проблемы

Robots.txt разрешает доступ, а в логах ошибки или пусто — частая картина. Основные причины в формате «симптом → как проверить → что сделать»:

Защита CDN, WAF или «защита от ботов» на хостинге.

• Симптом: в логах у ИИ-краулеров коды 403 или ответы со страницей проверки, у обычных посетителей всё в порядке.
• Как проверить: шаг 2 и шаг 3; дополнительно — журнал событий в панели CDN или WAF, где видно, какое правило сработало.
• Что сделать: добавить нужных ботов в исключения, лучше по IP-диапазонам, а не только по имени. Многие CDN позволяют выбрать, каких ИИ-ботов пропускать, — проверьте, что выбор совпадает с вашим решением.

Контент рендерится только через JavaScript.

• Симптом: бот получает 200, но в исходном HTML нет текста статьи.
• Как проверить: шаг 5.
• Что сделать: включить серверный рендеринг или статическую генерацию страниц, чтобы текст был в HTML сразу. Для ключевых страниц — услуг, статей, FAQ — это обязательно.

Ограничение частоты запросов (429) и тяжёлые страницы.

• Симптом: в логах много 429 или 5xx у ботов, особенно в часы обхода.
• Как проверить: шаг 2 с фильтром по коду и времени запросов.
• Что сделать: смягчить лимиты для проверенных ботов, облегчить страницы, настроить кэширование. Если сервер не тянет нагрузку, временно закройте ботов обучения, оставив поисковых.

  

Как заблокировать GPTBot, если всё-таки нужно

Если вы решили закрыть ботов, делайте это на двух уровнях.

Первый уровень — robots.txt, вежливая просьба (block gptbot robots txt). Подходит для добросовестных ботов, а крупные компании заявляют, что их краулеры его соблюдают. Готовые варианты — 2 и 3 выше.

Второй уровень — сервер, жёсткий запрет. Сервер сам отдаёт боту ошибку 403, и неважно, читает ли тот robots.txt. Пример для nginx (nginx block gptbot):

if ($http_user_agent ~* "(GPTBot|ClaudeBot|CCBot)") {
    return 403;
}

Две оговорки. Блокировка по user agent не спасает от подделки, поэтому надёжнее сочетать её с проверкой IP по опубликованным диапазонам. И аккуратнее с регулярными выражениями: правило вроде bot заодно закроет Googlebot и YandexBot. Перечисляйте имена явно и после правки проверьте в логах, что поисковые роботы получают 200.

Отдавать ботам другую версию страницы, чем людям, нельзя: это клоакинг, за который поисковики наказывают сайт. Закрывайте доступ честно — кодом 403 или правилом в robots.txt.

ИИ-краулеры и SEO: влияет ли доступ на позиции

Короткий ответ: закрытие GPTBot, ClaudeBot или PerplexityBot на позиции в Яндексе и Google не влияет. Это разные боты: поисковые системы ранжируют сайт по данным своих роботов и не смотрят, пустили ли вы краулеров OpenAI или Anthropic.

Обратное правило жёстче. Закрытие YandexBot или Googlebot ломает и поиск, и нейросетевые ответы, которые строятся на поисковом индексе. Алиса и Яндекс Нейро опираются на индекс Яндекса, AI Overviews — на индекс Google. Сайт, которого нет в поиске, не появится и в этих ответах.

Доступ для ботов — только техническая база. Попадание в ответы нейросетей зависит от того, что бот найдёт на странице: есть ли прямые ответы на вопросы, понятная структура, факты, которые легко процитировать, и насколько источнику доверяют. Об этом — в статьях AEO-оптимизация: как попадать в ответы поисковых ИИ и Нейросети в поиске и поиск в нейросетях.

Иногда рядом с robots.txt советуют файл llms.txt — краткую карту сайта для языковых моделей. Это необязательный формат: Google его не требует, и гарантированного эффекта от него нет.

Чек-лист и что дальше

Короткий чек-лист проверки доступа для ИИ-краулеров:

1. Открыть живой robots.txt и убедиться, что нет общего Disallow: / и неожиданных блоков для ИИ-ботов.
2. Решить, кого пускать: ботов обучения, ботов поиска, ботов по запросу пользователя.
3. Найти в логах сервера GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и посмотреть коды ответов.
4. Сравнить ответ сервера через curl с user agent бота и без него.
5. Сверить IP «ботов» из логов с опубликованными диапазонами.
6. Проверить, что текст страниц есть в исходном HTML, а не только после работы JavaScript.
7. Проверить настройки CDN, WAF и защиты хостинга — нет ли там блокировки ИИ-краулеров.
8. Повторять проверку после смены хостинга, CDN или CMS.

Проверка доступа для AI-краулеров — robots.txt и логи — входит в состав работ по GEO-продвижению в SEO Reach. Перед стартом можно заказать бесплатный аудит сайта: посмотрим, что мешает поисковым роботам и ИИ-краулерам видеть ваши страницы. Попадание в конкретный ответ нейросети никто гарантировать не может, но техническую причину, по которой вас точно не процитируют, можно убрать.

Больше статей о SEO и нейросетях — в блоге SEO Reach.