После миграции на новый хостинг эти версии могут различаться. Robots.txt управляет обходом; он не заменяет авторизацию и не является способом безопасно спрятать документы.
Редакционный материал ReachLead. Подготовлен с помощью AI и проверен по указанным первоисточникам . Примеры расчётов и ситуаций учебные; клиентские результаты не заявляются.
Проверка по шагам
Откройте /robots.txt без входа в аккаунт, запишите код ответа и конечный адрес после редиректов. Найдите группы User-agent и правила Allow и Disallow. Проверьте нужные страницы для каждой важной группы, включая общее правило со звёздочкой. Отдельно проверьте заголовок X-Robots-Tag и meta robots в HTML: разрешённый обход не отменяет noindex.
Типовая ошибка после запуска
На тестовом стенде часто запрещают весь сайт. Если такой файл перенести в production, публичная страница останется доступной человеку, но получит нежелательный сигнал для робота. Исправляйте конкретное правило после проверки назначения страницы. Не удаляйте все ограничения автоматически: административные маршруты и служебные разделы требуют отдельного решения.
Обход и безопасность — разные задачи
Google объясняет, что запрещённый для обхода URL всё же может появиться в поиске по внешним ссылкам. Поэтому приватную информацию защищают контролем доступа. Для исключения публичной страницы из индекса применяют соответствующие механизмы индексирования, учитывая возможность робота прочитать их. Секретные URL нельзя считать защищёнными только потому, что они перечислены в robots.txt.
Как принять исправление
Сохраните файл до и после изменения и повторите проверку с внешней сети. Тест с подставленным User-Agent проверяет реакцию сервера, но не доказывает доступ с реального IP поискового робота. Если сайт защищён WAF, сопоставьте его журналы с опубликованными правилами конкретного провайдера. Закройте задачу только после проверки нужной страницы, а не одного robots.txt.
Проверка публичного URL с компьютера
В командах ниже замените example.com своим доменом. В Windows используйте curl.exe, чтобы избежать подмены команды псевдонимом PowerShell. Заголовки и HTML сохраняйте отдельно: директива запрета может находиться в любом из них.
curl.exe -sS -L -D robots-headers.txt https://example.com/robots.txt -o robots.txt
curl.exe -sS -L -D page-headers.txt https://example.com/blog/article -o page.html- В page-headers.txt найдите X-Robots-Tag; в page.html — meta robots и canonical.
- Убедитесь, что page.html содержит статью, а не вход, CAPTCHA или сообщение об ошибке с кодом 200.
- Проверьте правила именно нужного робота: отдельная группа может менять применимые ограничения.
- После правки загрузите оба файла заново и приложите результаты к задаче.
Если статья закрыта noindex и одновременно Disallow, снятие только noindex может остаться незамеченным роботом, которому запрещён обход. Выберите политику для конкретной публичной страницы и проверьте оба механизма. Приватные кабинеты открывать ради индексации не нужно.
Первоисточники и границы выводов
Документация подтверждает описанные правила платформ. Шаблоны проверки и порядок работы — редакционные рекомендации ReachLead. Доступность страницы не гарантирует её выбор источником ответа.