Эти два слова постоянно ставят рядом, хотя решают они разные задачи: одно управляет попаданием страницы в индекс, другое — отношением поисковика к ссылке. Путаница дорого обходится: страницы, которые должны были исчезнуть из выдачи, остаются в ней годами.
Разберём, что чем закрывается, и почему в половине случаев закрытие не срабатывает.
Что такое noindex и nofollow?
noindex — указание поисковой системе не показывать страницу в результатах поиска. Задаётся мета-тегом в коде страницы или заголовком ответа сервера. Страницу при этом робот всё равно скачивает: чтобы увидеть запрет, ему нужно её прочитать.
nofollow — указание не учитывать конкретную ссылку при расчёте авторитетности. Ставится атрибутом у тега ссылки. Переход по ней для человека работает как обычно.
Отдельно существует третья сущность, которую регулярно смешивают с первыми двумя, — парный тег <noindex> внутри текста страницы. Это нестандартное расширение Яндекса, и о нём отдельный разговор ниже.
Что чем закрывать: таблица
Самая частая ошибка — брать не тот инструмент под задачу. Вот соответствие:
| Задача | Инструмент | Где ставится |
|---|---|---|
| Убрать страницу из выдачи | мета-тег noindex |
в <head> страницы |
| Запретить обход раздела | Disallow в robots.txt |
файл robots.txt |
| Не передавать вес по ссылке | rel="nofollow" |
у тега ссылки |
| Пометить платную ссылку | rel="sponsored" |
у тега ссылки |
| Пометить ссылку от пользователя | rel="ugc" |
у тега ссылки |
| Склеить дубли страниц | rel="canonical" |
в <head> страницы |
| Убрать страницу насовсем | удаление + код 410 | на сервере |
Обратите внимание: запрет обхода и запрет показа — разные вещи, и они не заменяют друг друга. Это и есть источник главной ошибки, к которой вернёмся ниже.
Мета-тег noindex: как работает
Синтаксис простой:
<meta name="robots" content="noindex">
Тег размещается в секции <head>. Можно адресовать его конкретному роботу:
<meta name="googlebot" content="noindex">
<meta name="yandex" content="noindex">
Часто встречается комбинация с директивой для ссылок:
<meta name="robots" content="noindex, nofollow">
Она означает: страницу не показывать и по ссылкам с неё не переходить. На практике второе редко нужно — если страница закрыта, ссылки с неё и так теряют смысл, а вот перекрыть роботу путь к нужным разделам можно случайно.
Альтернативный способ — заголовок ответа сервера:
X-Robots-Tag: noindex
Он удобен для файлов, у которых нет секции <head>: PDF, изображения, архивы.
Когда применять: служебные страницы (корзина, личный кабинет, страницы результатов внутреннего поиска), технические разделы, страницы с параметрами, версии для печати, теговые страницы без спроса.
Тег <noindex>: почему им лучше не пользоваться
Парный тег вида <noindex>часть текста</noindex> — не часть стандарта HTML. Это расширение, которое когда-то ввёл Яндекс, чтобы закрывать от индексации фрагмент страницы, а не всю страницу целиком.
Три причины, по которым сегодня на него не стоит рассчитывать:
- Google его никогда не понимал. Для него это просто неизвестный тег, содержимое внутри индексируется как обычно.
- Валидность. Тега нет в спецификации, поэтому его либо оборачивают в комментарии, либо код не проходит валидацию.
- Ненадёжность. Расчёт на то, что кусок текста «не увидят», регулярно не оправдывается.
Если фрагмент действительно нельзя показывать в поиске — его не должно быть в HTML-коде страницы. Всё остальное — попытка договориться с роботом, а не решение задачи.
Атрибут nofollow: что изменилось
Изначально rel="nofollow" был жёсткой директивой: поисковик обязан был игнорировать ссылку. Сейчас это подсказка — поисковые системы учитывают её, но оставляют за собой право решать.
Вместе с этим появились уточняющие атрибуты:
<a href="..." rel="nofollow">обычная непроверенная ссылка</a>
<a href="..." rel="sponsored">платное размещение, реклама</a>
<a href="..." rel="ugc">ссылка из комментария или отзыва</a>
Что чем помечать:
- sponsored — реклама, платные обзоры, партнёрские ссылки. Это то, за отсутствие чего можно получить санкции.
- ugc — всё, что оставили пользователи: комментарии, форум, отзывы.
- nofollow — ссылки, за которые вы не ручаетесь, но которые и не платные.
Внутренние ссылки закрывать не нужно. Старая практика «прятать вес» от служебных разделов через nofollow не работает уже много лет: вес не перераспределяется, а просто теряется. Если раздел не нужен в поиске — закройте его мета-тегом, а ссылку оставьте обычной. Как правильно выстроить связи между страницами, разобрано в материале про внутреннюю перелинковку.
Почему страница осталась в выдаче, хотя закрыта?
Самая частая и самая обидная ошибка выглядит так: страницу закрыли мета-тегом noindex, а заодно запретили её обход в robots.txt. Логика кажется железной — закрыли дважды, надёжнее.
На деле происходит обратное. Робот, которому запрещён обход, не может зайти на страницу и прочитать мета-тег. Он видит только запрет в robots.txt, но знает о существовании адреса из внешних и внутренних ссылок. В результате страница остаётся в выдаче — иногда без описания, с пометкой, что содержимое недоступно.
Как правильно:
- Убедитесь, что обход страницы разрешён в robots.txt.
- Поставьте мета-тег
noindex. - Дождитесь, пока робот зайдёт и увидит запрет.
- Только после того, как страница выпала из выдачи, можно закрывать обход — если это вообще нужно.
Про то, как устроен файл robots.txt и что в нём стоит закрывать, есть отдельный разбор.
Как проверить, что запрет работает?
Поставить мета-тег мало — надо убедиться, что поисковик его увидел. Три способа, от быстрого к надёжному.
Посмотреть исходный код страницы. Откройте страницу в браузере и найдите в исходном коде секцию head. Важная тонкость: смотреть надо именно исходный код, а не результат в инструментах разработчика. Если тег добавляется скриптом уже после загрузки, робот может его не увидеть — он читает то, что пришло с сервера.
Проверить заголовки ответа сервера. Если запрет отдаётся через заголовок, в браузере его не видно. Проверяется консольной утилитой или онлайн-сервисом, который показывает заголовки ответа.
Использовать инструменты вебмастера. И Яндекс, и Google дают возможность проверить конкретный адрес: они показывают, как видят страницу, разрешён ли обход и какие директивы обнаружены. Это самый надёжный способ, потому что показывает картину глазами робота, а не вашими.
Отдельно стоит проверить, что запрет не распространился шире, чем задумано. Типичная авария: правило добавили в шаблон, и мета-тег приехал на все страницы раздела вместо одной.
Что делать, если страница уже в выдаче?
Установка запрета не убирает страницу мгновенно. Робот должен переобойти адрес, увидеть новую директиву и обработать её — на это уходит от нескольких дней до нескольких недель в зависимости от того, как часто он к вам заходит.
Если нужно быстрее, порядок такой:
- Убедитесь, что обход разрешён и мета-тег стоит.
- Отправьте страницу на переобход через инструменты вебмастера. Это ускоряет визит робота, но не гарантирует моментального исключения.
- Для срочных случаев используйте инструмент удаления из выдачи. И Яндекс, и Google дают возможность временно скрыть адрес из результатов — обычно на несколько месяцев. Это временная мера: если запрет не настроен, страница вернётся.
- Проверьте внутренние ссылки. Если на закрытую страницу продолжают вести ссылки из меню и текстов, робот будет возвращаться к ней снова и снова.
Когда страница удаляется навсегда, надёжнее не закрывать её от индексации, а отдавать код 410 — он означает «удалено окончательно» и обрабатывается быстрее, чем обычная ошибка 404.
Что закрывать на практике
Список того, что обычно не нужно в поиске:
- корзина, оформление заказа, личный кабинет — служебные страницы без содержания;
- результаты внутреннего поиска — бесконечный источник мусорных адресов;
- страницы фильтров без спроса — сочетания вроде «синие кресла до 3000 рублей в наличии», которые никто не ищет;
- версии для печати — полные дубли основных страниц;
- технические разделы — тестовые площадки, служебные скрипты;
- пустые теговые страницы — теги с одной-двумя записями.
И то, что закрывать не надо:
- страницы пагинации — они нужны роботу, чтобы дойти до глубоких материалов;
- карточки товаров, которых временно нет в наличии, — лучше оставить и показать статус;
- страницы услуг «на всякий случай» — распространённая причина, по которой сайт теряет трафик после переделки.
Отдельная задача — дубли. Их обычно решают не запретом, а склейкой через канонический адрес: страница остаётся доступной, но поисковик знает, какая версия основная. Подробнее о самой проблеме — в материале про дублированный контент.
Разбор по типам сайтов
Что закрывать — зависит от того, как устроен сайт. Три типичных случая.
Интернет-магазин. Основной источник мусора — фильтры и сортировки. Каждое сочетание параметров порождает адрес, и их количество растёт по экспоненте. Разумный подход: оставить открытыми те комбинации, по которым есть спрос («кресла компьютерные», «кресла до 10 000»), а остальное закрыть. Сортировки, режимы отображения и пагинацию внутри фильтров закрывают почти всегда. Отдельно — корзина, сравнение, избранное: там нет содержания, которое имеет смысл показывать в поиске.
Сайт услуг. Мусора обычно мало, и главная задача другая — не закрыть лишнего. Типичная авария: при переделке сайта раздел закрывают «пока не доделаем» и забывают открыть. Через полгода выясняется, что услуга не приносит обращений, потому что её страницы нет в поиске. Проверяйте разделы после каждой крупной переделки.
Блог или медиа. Здесь источник дублей — теги, архивы по датам и постраничная навигация. Теговые страницы с одной-двумя записями пользы не несут: их лучше либо наполнить, либо закрыть. Архивы по месяцам почти всегда бесполезны для поиска. А вот пагинацию раздела закрывать не стоит — без неё робот не доберётся до старых материалов.
Общее для всех: прежде чем что-то закрывать, проверьте, приносит ли эта страница трафик. Бывает, что «мусорная» на вид страница фильтра стабильно даёт переходы по узкому запросу — тогда её нужно не закрывать, а доработать.
Чем это отличается от удаления страницы
Ещё одна путаница: закрытие от индексации и удаление — разные вещи с разными последствиями.
Закрытая страница остаётся доступной людям. Она открывается по прямой ссылке, на неё можно зайти из меню, ей можно пользоваться — она просто не показывается в результатах поиска. Это правильный выбор для служебных разделов: корзина нужна покупателю, но не нужна в выдаче.
Удалённая страница недоступна никому. Сервер отдаёт ошибку, посетитель видит сообщение об отсутствии страницы. Здесь важно выбрать правильный код ответа: 404 означает «не найдено, возможно временно», 410 — «удалено окончательно». Второй обрабатывается поисковиками быстрее.
Перенаправление — третий вариант, когда содержание переехало. Тогда вместо удаления настраивают переадресацию на новый адрес, и накопленные сигналы частично передаются.
Выбор между этими тремя вариантами зависит от того, что должно случиться с содержанием. Если оно нужно людям, но не нужно в поиске — закрывайте от индексации. Если не нужно вовсе — удаляйте. Если переехало — перенаправляйте.
Как это влияет на бюджет обхода
Есть неочевидная связь: закрытие страниц от индексации не экономит ресурс робота.
Логика такая. Чтобы увидеть мета-тег noindex, робот должен страницу скачать. Значит закрытые таким образом адреса продолжают потреблять краулинговый бюджет — просто результат этой работы никуда не идёт.
Если мусорных адресов немного, это неважно. Но когда речь о десятках тысяч комбинаций фильтров, картина меняется: робот тратит визиты на страницы, которые вы всё равно не хотите показывать, и медленнее доходит до нужных.
Отсюда практическое правило:
- немного страниц, важно убрать их из выдачи — мета-тег noindex;
- много однотипного мусора, который не должен обходиться вообще — запрет в robots.txt;
- страницы уже в индексе, надо убрать — сначала noindex с разрешённым обходом, и только после исчезновения из выдачи можно закрывать обход.
Ошибка в этом месте стоит дорого: сайты с большим каталогом иногда годами держат робота на бесконечных фильтрах, а новые товары ждут индексации неделями.
Внешние ссылки: когда ставить пометки
С исходящими ссылками на другие сайты вопрос возникает регулярно: закрывать или нет.
Обычная ссылка на источник — без пометок. Если вы ссылаетесь на исследование, документацию или полезный материал, это нормальная часть текста. Такие ссылки не вредят, а помогают: они показывают, что автор опирается на источники.
Реклама и платные размещения — только sponsored. Сюда относится всё, за что заплатили: обзоры, упоминания, партнёрские ссылки с вознаграждением за покупку. Отсутствие пометки — нарушение правил обеих поисковых систем, и отвечают за него оба участника сделки.
Пользовательский контент — ugc. Комментарии, отзывы, сообщения форума. Здесь вы не контролируете, куда ведут ссылки, и пометка снимает с вас ответственность за содержание.
Сомнительные ресурсы — nofollow. Если приходится сослаться на источник, которому вы не доверяете, но ссылка нужна по смыслу.
Отдельно про массовое закрытие всех внешних ссылок подряд: смысла в этом нет. Утечки веса, которой боялись пятнадцать лет назад, в современном виде не существует, а сайт без единой открытой исходящей ссылки выглядит неестественно.
Как проверить весь сайт целиком
Точечная проверка отдельных страниц не показывает картину. Чтобы понять, что происходит на сайте в целом, нужен обход краулером.
Что смотреть в результатах:
- Список страниц с директивой noindex. Сверьте его с тем, что вы собирались закрыть. Часто обнаруживаются страницы, закрытые давно и по забытым причинам.
- Страницы, закрытые в robots.txt и одновременно имеющие мета-тег. Это тот самый конфликт, из-за которого запрет не срабатывает.
- Внутренние ссылки с атрибутом nofollow. Как правило, их быть не должно.
- Внешние ссылки без пометок. Проверьте, нет ли среди них рекламных.
- Расхождение между картой сайта и индексом. Если адрес есть в карте, но закрыт от индексации, вы даёте поисковику противоречивые указания.
Такую проверку разумно делать после каждой крупной переделки сайта и как минимум раз в полгода на стабильном проекте. Она входит в технический аудит наряду с проверкой скорости, дублей и структуры.
Частые ошибки
- noindex вместе с запретом обхода. Разобрано выше — страница остаётся в выдаче.
- Закрытие всего сайта после переноса. Тестовая версия с запретом уезжает на боевой сервер вместе с кодом. Проверяйте после каждой выкладки.
- nofollow на внутренних ссылках. Вес не сохраняется, а теряется.
- Расчёт на тег
<noindex>для скрытия текста. Google его не видит. - Закрытие пагинации. Робот перестаёт доходить до глубоких страниц, и они выпадают из индекса.
- Отсутствие sponsored на рекламных ссылках. Прямое нарушение правил, за которое прилетает и продающей, и покупающей стороне.
- Ожидание мгновенного результата. Между установкой запрета и исчезновением из выдачи проходит от нескольких дней до нескольких недель — столько времени нужно роботу, чтобы переобойти страницу.
Коротко о главном
noindexуправляет показом страницы в выдаче,nofollow— отношением к ссылке. Это разные задачи.- Чтобы запрет сработал, робот должен иметь возможность его прочитать: не закрывайте обход одновременно с индексацией.
- Парный тег
<noindex>— устаревшее расширение Яндекса, Google его не понимает. - Внутренние ссылки атрибутом nofollow не закрывают: вес не перераспределяется, а исчезает.
- Рекламные ссылки помечают
sponsored, пользовательские —ugc. - Дубли обычно решаются каноническим адресом, а не запретом индексации.
Проверяем директивы индексации вместе с остальной технической частью в рамках аудита сайта: что закрыто случайно, что осталось в выдаче вопреки запрету и куда уходит бюджет обхода. Оставьте заявку на бесплатный экспресс-аудит.
