Как устроен файл
robots.txt лежит в корне сайта и состоит из групп. Каждая группа начинается со строки User-agent — имени робота — и содержит правила Disallow (не обходить) и Allow (обходить, даже если раздел закрыт).
Важная деталь: если для робота есть своя группа, правила общей группы User-agent: * он не читает. Поэтому конструктор повторяет правила в группе Яндекса и добавляет туда Clean-param, а закрытым ботам выдаёт отдельные группы с Disallow: /.
Каких ИИ-ботов пускать
У нейросетей роботы делятся на три вида, и закрывать их стоит по-разному:
| Вид | Примеры | Что будет, если закрыть |
|---|---|---|
| ИИ-поиск | OAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexAdditional | Сайт перестанет попадать в ответы нейросетей со ссылкой на источник |
| Запросы пользователей | ChatGPT-User, Claude-User, Perplexity-User | Нейросеть не откроет страницу, даже если человек сам попросил. Эти боты могут не соблюдать robots.txt |
| Обучение моделей | GPTBot, ClaudeBot, Google-Extended, CCBot | Тексты сайта не попадут в обучающие данные. На поиск это не влияет |
Для коммерческого сайта обычно разумен вариант «закрыть обучение, оставить ИИ-поиск». Ответы нейросетей уже приводят клиентов, и закрывать этот канал без причины не стоит. Подробнее о том, как попасть в эти ответы, — на странице GEO-продвижения.
Шаблоны движков
Для каждого движка конструктор закрывает служебные разделы, но не трогает папки с CSS и JS: если их закрыть, робот увидит страницу без оформления и может посчитать её неудобной для телефона. Путь к карте сайта по умолчанию — стандартный для движка. Если карту создаёт плагин или модуль, укажите его путь вручную.
После загрузки файла
- Положите файл в корень сайта: он должен открываться по адресу
ваш-сайт.ru/robots.txt. - Проверьте его в Яндекс Вебмастере, в разделе анализа robots.txt, и в отчёте о robots.txt в Google Search Console.
- Убедитесь, что важные страницы не попали под запрет.
Подробнее о директивах и типичных ошибках — в статье «robots.txt и sitemap.xml». Рядом с robots.txt нейросетям помогает файл llms.txt — его можно собрать в нашем генераторе llms.txt.