Robots.txt управляет сканированием, noindex запрещает включать страницу в индекс, а sitemap сообщает поисковику адреса страниц. Добавление URL в sitemap не отменяет запреты, а запрет обхода через robots.txt не гарантирует удаления адреса из Google.
Для чего нужен robots.txt
Файл robots.txt расположен в корне домена и содержит правила обхода для роботов. Например, Disallow может запрещать сканирование определённого пути. Перед изменением смотрите, к какому роботу относится правило и какие страницы попадают под указанный адрес.
В документации Google отдельно описано ограничение: закрытый от сканирования URL может остаться известен поиску по ссылкам. Поэтому для задачи «убрать страницу из результатов» одного Disallow недостаточно. Robots.txt также не защищает личные документы от доступа человека по прямой ссылке.
Когда используют noindex
Noindex размещают в метатеге страницы или HTTP-заголовке X-Robots-Tag. Это указание не включать содержимое в индекс. Оно подходит, например, для опубликованной служебной страницы, которую посетитель может открыть, но которую не нужно находить через поиск.
Чтобы Google увидел noindex, робот должен получить страницу. Если одновременно запретить её обход в robots.txt, он может не прочитать новое указание. Это условие описано в руководстве Google по noindex. Закрывать конфиденциальные материалы следует средствами ограничения доступа.
Что сообщает sitemap
Sitemap перечисляет адреса, которые вы хотите показать поисковой системе. В карту обычно включают основные публичные страницы с выбранными каноническими URL. Страницы с noindex и старые адреса с редиректами исключите из карты после проверки их назначения.
Факт наличия URL в карте не означает, что поисковик уже проиндексировал страницу. Для этого нужно проверить её статус в кабинете. Успешное чтение sitemap и попадание конкретной статьи в поиск являются разными результатами.
Как закрыть шаблон и оставить кейсы открытыми
Сначала выпишите реальные адреса шаблона и нескольких опубликованных кейсов. Определите, находятся ли они на разных путях и не наследуют ли одну настройку. Широкое правило на весь раздел может затронуть материалы, которые должны получать поисковый трафик.
После изменения проверьте шаблон и каждый тип страницы, построенный на его основе. У открытых кейсов не должно появиться noindex или запрета обхода. Наличие правильного canonical также нужно проверять на итоговом URL, доступном посетителю.
Как проверить результат
Откройте robots.txt и исходный HTML нужной страницы. Затем используйте проверку URL в Google Search Console: разрешено ли сканирование, успешно ли получена страница и разрешена ли индексация. Live-тест показывает доступность текущей версии, а сведения из индекса могут относиться к более раннему обходу.
Сохраняйте дату проверки и статус. Если меняли только одну служебную страницу, дополнительно проверьте услугу и статью из другого раздела. Такой контроль помогает заметить слишком широкую настройку до того, как она затронет весь сайт.
Нужно ли менять всё при отсутствии страницы в поиске
Если сканирование разрешено, noindex отсутствует и canonical верный, причина может быть связана с выбором страниц поисковиком. Повторное добавление sitemap не устраняет автоматически дубли или слабое содержание. Сначала прочитайте причину исключения в отчёте и проверьте сам материал.
В рамках SEO-продвижения эти настройки проверяют вместе с внутренними ссылками и содержанием. Массово открывать служебные URL ради увеличения числа страниц в индексе не требуется.
