Задача «убрать из поиска» решается по-разному в зависимости от того, что именно нужно: скрыть одну страницу срочно, вывести раздел навсегда, спрятать тестовый сайт или убрать дубль. Способы отличаются и по механике, и по срокам, а выбранный наугад чаще всего не работает.
Но начать стоит не с выбора способа. Первый вопрос — а нужно ли удалять вообще.
Сначала решите, нужно ли удалять
Удаление страницы из поиска — это не техническая операция, а потеря актива. Вместе со страницей уходит её трафик, накопленные позиции и вес внешних ссылок, которые на неё ведут. Восстановить это потом получается не всегда.
Поэтому прежде чем удалять, посмотрите на альтернативы:
Закрыть от индексации, но оставить доступной. Подходит, когда страница нужна людям — например, вы даёте на неё ссылку в письмах или рекламе, — но в поиске ей делать нечего. Служебные страницы, версии для печати, страницы благодарности после отправки формы.
Склеить с другой страницей. Если содержимое дублирует существующий раздел, правильнее указать основную версию через canonical или поставить редирект. Тогда накопленные сигналы перейдут на целевую страницу, а не пропадут.
Переписать вместо удаления. Устаревшая статья, которая всё ещё собирает показы, почти всегда стоит обновления, а не удаления. Позиции и возраст страницы — это то, что новый материал будет набирать заново с нуля.
Удаление действительно оправдано, когда:
- опубликованы данные, которых в открытом доступе быть не должно;
- в индекс попал тестовый или технический сайт;
- в выдаче оказался мусор: результаты внутреннего поиска, служебные адреса, пустые разделы;
- раздел закрыт навсегда и заменить его нечем.
Проверьте, что страница вообще в индексе
Прежде чем что-то делать, стоит убедиться, что проблема существует. Точные данные дают панели вебмастера: в Яндекс Вебмастере есть отчёт по страницам в поиске, в Google Search Console — проверка конкретного адреса, которая показывает, проиндексирован ли он и когда обходился в последний раз.
Оператор site: в поисковой строке для этого не годится. Он даёт приблизительную выборку, число результатов в нём плавает, и принимать по нему решения нельзя. Как читать отчёты индексации подробно, разбирали в статье про индексацию сайта в Яндексе.
Таблица: какой способ выбрать
| Ситуация | Способ | Срок | Что останется |
|---|---|---|---|
| Срочно убрать одну страницу | Инструмент удаления в панели вебмастера | Часы | Страница вернётся, если не убрать причину |
| Убрать навсегда, доступ не нужен | Код 410 на адресе | Дни — недели | Ничего, адрес выводится из индекса |
| Страница должна остаться доступной | noindex в метатеге или заголовке | После переобхода | Страница работает для людей, но не в поиске |
| Дубль, есть основная версия | canonical на основную | Недели | Сигналы переходят на основную страницу |
| Раздел переехал | 301 на новый адрес | Недели | Вес передаётся новому адресу |
| Тестовый или технический сайт | Пароль или запрет на уровне сервера | После переобхода | Сайт недоступен никому, кроме вас |
| Изображение из поиска по картинкам | Удаление файла + запрос в панели | Дни | Ссылки на страницу остаются |
Главное правило чтения таблицы: срочное скрытие и настоящее удаление — разные вещи. Инструмент в панели вебмастера прячет адрес из выдачи временно, но если страница по-прежнему отдаёт код 200 и открыта для индексации, через некоторое время она вернётся. Инструмент нужен, чтобы выиграть время, пока вы настраиваете постоянное решение.
Способы по порядку
Коды 410 и 404
Самый прямой путь для страницы, которая больше не нужна. Разница между кодами в сообщении, которое получает робот: 404 говорит «не найдено» и допускает, что страница вернётся, а 410 — «удалено навсегда». Поэтому по 410 адрес выводится из индекса быстрее, а по 404 робот ещё какое-то время будет проверять, не появилась ли страница снова.
Практический вывод: если возврата не планируется, настраивайте 410. Если страница удалена, но у неё есть близкая замена, вместо кода удаления лучше поставить 301 редирект — тогда и посетитель попадёт куда нужно, и вес перейдёт на замену.
noindex в метатеге или HTTP-заголовке
Способ для случая, когда страница должна остаться доступной для людей, но исчезнуть из поиска. Метатег ставится в код страницы, для файлов вроде PDF используется HTTP-заголовок.
Ключевое условие: страница должна оставаться доступной роботу. Если одновременно закрыть её в robots.txt, робот просто не зайдёт и не увидит запрет — страница останется в индексе. Об этой ловушке подробно ниже.
Инструмент удаления в панели вебмастера
Есть и в Яндекс Вебмастере, и в Google Search Console. Работает быстро — адрес пропадает из выдачи в течение часов. Но важно понимать, что он делает на самом деле: временно скрывает страницу, а не удаляет её. В Google срок скрытия ограничен, после чего адрес возвращается, если причина не устранена.
Правильный сценарий использования: сначала инструмент — чтобы убрать из выдачи прямо сейчас, — потом настройка постоянного решения (410, noindex, пароль). Использовать его как единственный способ бессмысленно.
Canonical и 301
Оба варианта не удаляют страницу, а перенаправляют сигналы на другую. Подходят, когда содержимое дублируется или раздел переехал. Отличие: canonical оставляет обе страницы доступными и лишь указывает предпочтительную, редирект физически уводит посетителя. Механику канонических адресов разбирали отдельно, там же про работу с дублями.
Пароль или закрытие на уровне сервера
Единственный надёжный способ для тестовых площадок и копий сайта. Если разработческая версия закрыта только в robots.txt, рано или поздно она окажется в индексе — достаточно одной внешней ссылки. Доступ по паролю или по списку адресов решает проблему полностью: робот физически не может получить содержимое.
Как убрать из поиска весь сайт
Отдельная задача, которая решается не так, как удаление одной страницы. Сценариев обычно четыре, и способы у них разные.
Сайт закрывается насовсем. Самое надёжное — отдавать код 410 на всех адресах и держать домен, пока страницы не выпадут из индекса. Если домен отключить сразу, робот какое-то время будет получать ошибку соединения и продолжит держать адреса в выдаче — просто потому, что не может убедиться в их удалении.
Домен продан или сменил назначение. Здесь удалять ничего не нужно: новое содержимое само вытеснит старое из индекса по мере переобхода. Ускорить можно переобходом главных разделов. А вот если старые адреса не должны открываться, им нужен код удаления, иначе в выдаче ещё долго будут висеть страницы прежнего проекта.
Копия сайта на поддомене или тестовом адресе. Самый частый и самый обидный случай: разработческая версия попала в индекс и конкурирует с основной. Правильное решение — закрыть доступ паролем или по списку адресов на уровне сервера. Запрет в robots.txt здесь не помогает, а иногда мешает: адреса остаются в выдаче, но робот уже не может зайти и увидеть, что их надо убрать.
Сайт на разработке, который ещё не запущен. До запуска — только пароль. Директива в robots.txt на новом сайте работает как профилактика и вполне достаточна, пока на площадку нет ни одной внешней ссылки. Но стоит кому-то один раз поделиться адресом — и сайт окажется в индексе.
Общая ошибка во всех четырёх сценариях одна: люди отключают сайт или закрывают доступ раньше, чем поисковик успел увидеть код удаления. Робот должен получить ответ сервера — только тогда он поймёт, что адрес больше не нужен.
Сохранённая копия и кэш
Даже после того, как страница исчезла из результатов, её содержимое какое-то время остаётся доступным в сохранённой копии поисковика. Отдельного способа стереть её нет — копия обновляется вместе с переобходом и пропадает вслед за страницей.
Если содержимое чувствительное и ждать нельзя, порядок такой: убрать данные с самой страницы, отправить адрес на переобход, чтобы поисковик увидел новую версию, и параллельно воспользоваться инструментом удаления в панели вебмастера. В Search Console он умеет убирать именно сохранённую копию, оставляя саму страницу в выдаче.
Главная ошибка: закрыть в robots.txt
Это первое, что делают почти все, и почти всегда неправильно.
Механика такая. Запрет в robots.txt закрывает роботу доступ к странице. Он перестаёт на неё заходить — и, соответственно, перестаёт видеть, что там написано. Если страница уже в индексе, она там и останется: робот не может зайти и обнаружить запрет индексации или код удаления. В выдаче такой адрес нередко показывается вообще без описания, с пометкой, что содержимое недоступно.
Получается парадокс: чем плотнее вы закрыли страницу в robots.txt, тем надёжнее она застряла в поиске.
Что делать вместо этого. Если страница ещё не в индексе — запрет в robots.txt работает как профилактика, это нормальный сценарий. Если уже в индексе, порядок обратный: сначала снимите запрет в robots.txt, дайте роботу зайти, покажите ему noindex или код удаления, дождитесь выпадения из выдачи — и только потом, если нужно, закрывайте доступ снова. Синтаксис директив разбирали в материале про robots.txt и карту сайта.
Сколько ждать
Сроки сильно различаются, и это причина большинства разочарований.
Срочное скрытие через панель — часы. Самый быстрый результат, но временный.
Выпадение по коду 410 — от нескольких дней до пары недель, в зависимости от того, как часто робот заходит на этот раздел. Популярные страницы обходятся чаще и выпадают быстрее.
noindex — после ближайшего переобхода страницы. Для важных адресов это дни, для дальних углов сайта может быть и месяц.
Полное исчезновение по всем запросам — дольше всего. Страница может пропасть из выдачи по основному запросу, но ещё какое-то время показываться по редким формулировкам.
Ускорить процесс можно одним способом: отправить адрес на переобход в панели вебмастера. Это не мгновенно, но заметно быстрее, чем ждать планового визита робота.
Ещё одна причина, по которой удаление затягивается, — внешние и внутренние ссылки на страницу. Пока робот регулярно встречает адрес по ссылкам с других страниц, он будет к нему возвращаться и проверять. Поэтому вычистка ссылок ускоряет выпадение не меньше, чем правильный код ответа.
Что будет с трафиком и ссылками
Об этом почти не пишут, а спрашивают потом.
Трафик страницы уходит целиком. Не перераспределяется по сайту, а именно исчезает. Если удаляемая страница собирала заметную часть визитов из поиска, это будет видно в аналитике сразу.
Вес внешних ссылок теряется. Если на страницу ссылались другие сайты, при удалении эти ссылки становятся битыми, а накопленный ими вес пропадает. Единственный способ его сохранить — поставить 301 на релевантную замену вместо кода удаления.
Внутренние ссылки превращаются в битые. После удаления по сайту остаются ссылки в меню, в тексте статей, в карточках. Их нужно вычистить: битые ссылки портят впечатление посетителям и тратят обход робота впустую.
Карта сайта. Удалённый адрес должен исчезнуть из карты сайта, иначе вы продолжите приглашать робота на несуществующую страницу.
В отчётах страница появится в исключённых из поиска — с указанием причины. Это нормально и означает, что всё сработало.
Как вернуть страницу, удалённую по ошибке
Сценарий реальный: снесли раздел, а через месяц выяснилось, что он приносил заявки. Порядок действий:
- Снимите все запреты. Уберите noindex, убедитесь, что страница отдаёт код 200, снимите запрос на удаление в панели вебмастера, проверьте, что адрес не закрыт в robots.txt.
- Проверьте доступность. Страница должна открываться и отдавать нормальный код — не редирект и не ошибку.
- Верните ссылки. Адрес должен снова появиться в карте сайта и получить внутренние ссылки с других страниц: без них робот будет заходить на него неохотно.
- Отправьте на переобход в Вебмастере и Search Console.
- Дождитесь. Возвращение занимает от нескольких дней до недель.
Честно о результате: страница возвращается в индекс, но позиции — не всегда. Если за время отсутствия её место заняли конкуренты, отвоёвывать придётся заново. Это ещё один довод в пользу того, чтобы не удалять сгоряча.
Отдельные случаи
Изображение в поиске по картинкам. Удалите сам файл с сервера и отправьте запрос на удаление в панели вебмастера. Страница, на которой изображение размещалось, при этом остаётся в поиске — это разные объекты.
Страница с персональными данными. У поисковиков есть отдельные формы для обращений по такому поводу. Параллельно нужно убрать данные с сайта: пока страница доступна, она вернётся в индекс.
Чужой сайт с вашим контентом. Здесь речь не об удалении своей страницы, а о жалобе правообладателя. Обращение подаётся через специальные формы поисковых систем, и решение принимают они — заранее гарантировать исход нельзя.
Упоминание в ответах нейросетей. Новый сценарий, которого несколько лет назад не было: страница уже удалена, но её содержимое продолжает всплывать в сгенерированных ответах поисковика или чат-бота. Прямой кнопки «убрать» здесь нет. Работает то же, что и с обычной выдачей: содержимое должно исчезнуть с сайта и из индекса, после чего постепенно уйдёт и из ответов — по мере обновления данных. Разница в том, что срок здесь предсказать сложнее, а языковые модели могут удерживать сведения дольше, чем поисковый индекс. Как устроено попадание в такие ответы, разбираем в статье про ответы нейросетей.
Чек-лист
- Решено, что удаление лучше альтернатив: закрытия от индексации, склейки, обновления.
- Проверено по панели вебмастера, что страница действительно в индексе.
- Выбран способ под конкретную ситуацию по таблице выше.
- Если нужно срочно — сначала инструмент скрытия, потом постоянное решение.
- Страница не закрыта в robots.txt, если на ней стоит noindex или код удаления.
- На релевантную замену поставлен 301, если у страницы были внешние ссылки.
- Адрес убран из карты сайта.
- Внутренние ссылки на удалённую страницу вычищены.
- Адрес отправлен на переобход.
- Через 2–3 недели проверено, что страница исчезла из выдачи.
Когда это часть большой уборки
Единичную страницу убрать несложно. Другое дело, когда в индекс попали сотни служебных адресов, копия сайта на поддомене или результаты внутреннего поиска — тут нужно не удалять по одному, а разбираться, откуда они берутся, и закрывать источник.
Мы делаем такой разбор в рамках аудита сайта: смотрим, что вообще попало в индекс, что там лишнее и в каком порядке это убирать, чтобы не задеть работающие страницы. Первичный аудит перед началом работы — бесплатный.
