Robots.txt и sitemap.xml: как проверить, какие страницы открыты поиску

Главная сайта находится в поиске, а новый раздел услуг неделями остаётся незаметным. Первую подсказку можно получить без изменения сайта: взять одну нужную страницу и проследить, куда ведут инструкции для поискового робота. Robots.txt задаёт правила обхода, sitemap.xml перечисляет адреса, которые владелец предлагает обнаружить. Для проверки нужны оба файла, ответы самих страниц и понимание, каким содержимым управляет основной сайт, а каким — подключённый блог.

Соберите небольшой набор с известным назначением

Возьмите главную, опубликованную услугу, запись из нового раздела, страницу внутреннего поиска и заведомо отсутствующий путь. При наличии доступа добавьте адрес тестового предпросмотра без секретной ссылки или токена. Напротив каждого опишите ожидаемое поведение обычными словами. Например, услуга должна открываться без входа и попадать в поиск, внутренний поиск полезен покупателю, но не нужен как самостоятельный результат, личный кабинет доступен только владельцу учётной записи.

Работайте с адресами, которые человек видит после перехода, включая протокол, поддомен, путь и завершающий слеш. Если блог размещён в папке основного домена, правила для робота ищут в корне этого домена. Файл с названием robots.txt внутри папки блога не управляет обходом всех страниц сайта. Для самостоятельного поддомена проверяют его собственный корневой файл. Запишите, кто имеет право редактировать каждый из них: владелец блога, подрядчик основной CMS или служба хостинга.

Прочитайте правило в контексте его группы

Откройте корневой robots.txt как обычный внешний посетитель. Убедитесь, что видите текст, а не форму входа, сообщение защиты или HTML главной страницы с успешным кодом. Найдите группы User-agent, директивы Allow и Disallow, упоминание карты сайта. Разберите несколько точных URL с учётом правил конкретного поисковика. Одной строки «Disallow: /» недостаточно для вывода без соседнего имени робота. У другого робота может применяться другая группа и разрешение на отдельный путь.

Запрет обхода не заменяет защиту данных. Если по прямой ссылке скачивается коммерческое предложение конкретного клиента, сначала нужна авторизация. Также не стоит одновременно запрещать роботу читать открытую страницу и рассчитывать, что он увидит в её HTML инструкцию noindex. Уберите такие противоречия из таблицы решений ещё до правки конфигурации. Если в рекламе используется отдельная закрытая от поиска посадочная страница, проверьте её назначение с владельцем кампании по чек-листу посадочной.

Сверьте карту с фактически опубликованными адресами

Откройте XML по ссылке из robots.txt или из панели вебмастера. Карта может представлять собой индекс отдельных карт. Дойдите до файла, где ожидается конкретная статья или услуга, и проверьте её полный адрес. Важно убедиться, что он открывается без учётной записи, возвращает содержимое нужной страницы и совпадает с предпочтительным URL, указанным на ней. Список ссылок на редиректы, черновики, старый домен или параметры фильтра отправляет поисковику смешанные сигналы.

Сопоставьте три строки из разных частей списка: свежую публикацию, старую обновлённую и удалённую страницу. У свежей проверьте, появилась ли она после штатного выпуска. У обновлённой сопоставьте дату содержательного изменения с lastmod, если это поле выводится. У удалённой убедитесь, что её адрес исчез из карты. Время каждой ночной сборки нельзя автоматически считать датой изменения всех материалов. Сама отправка карты помогает обнаружению и не обещает включения каждого URL в индекс.

Разберите пример с двумя владельцами сайта

Допустим, корпоративный каталог работает на одной системе, а блог доступен в папке /blog/ через подключённый сервис. Несколько статей открываются, карта блога тоже. В корневом файле основной системы осталось правило, закрывавшее тестовую версию этого раздела. В такой ситуации повторная генерация карты не устранит запрет. Сохраните фрагмент правил, конкретный URL и результат проверки для нужного робота. Передайте владельцу основной системы предложение минимальной правки и укажите, какие соседние пути обязаны остаться закрытыми.

Встречается и обратное: обход разрешён, но в XML оказываются адреса внутреннего сервера, недоступные извне. Тогда задачу получает разработчик генератора карты. Исправлять чужую CMS или добавлять все возможные домены во все файлы незачем. Примерочный вопрос подрядчику: «Из какого опубликованного адреса эта функция строит запись и почему она выбрала внутренний хост?» При обсуждении объёма работ полезен разбор состава сметы на сайт.

Как принять исправление

Повторите проверку на том же наборе адресов снаружи и запишите время. У нужной страницы должны согласоваться разрешение обхода, ответ сервера, директивы индексации, canonical и запись в карте. У отсутствующего адреса проверьте реальный статус ошибки. У закрытого документа проверьте отсутствие доступа без разрешения. Результат в панели вебмастера сохраняйте отдельно с датой последнего обхода: старые сведения там не опровергают сегодняшнюю проверку сервера.

НОУ-ХАУ

Свобода от рекламной зависимости – за 1 день

ЛидБлог за 1 день превращает сайт в канал привлечения новых клиентов из Яндекс, Google и поиска в нейросетях. Работает без вашего участия

Дмитрий РучинВ маркетинге с 2011 года

.PDF ФАЙЛ

Выберите способ связи и укажите номер, чтобы получить персональный план привлечения клиентов с помощью нового канала «ЛидБлог» и узнать стоимость внедрения

Куда направить?

На телефонTelegramMAX

ТелефонСайтСКАЧАТЬ PDFСогласен на обработку персональных данных согласно политике обработки данных.

Вопросы и ответы