Страх «одной строчкой убью сайт в поиске» знаком многим: копируют чужой robots.txt, видят Disallow: / и не понимают, закрыл ли каталог или весь домен. У клиента с магазином одежды после переноса с теста забыли удалить файл с Disallow: / — Яндекс ещё три месяца видел полный запрет. Ниже — как открыть /robots.txt, настроить безопасный минимум и проверить главную, услуги и статьи в Вебмастере: сможете сделать это за один вечер без программиста.
Файл robots.txt — это короткая инструкция для роботов поиска: куда можно заходить, куда нет. WordPress по умолчанию отдаёт виртуальный robots.txt без файла на диске. Физический robots.txt в корне сайта перебивает всё остальное. Безопасный минимум: закрыть только /wp-admin/, /wp-login.php и служебное; не трогать /wp-content/ и статьи. С версии WordPress 5.3 галочка «не индексировать» не пишет Disallow: /, а ставит noindex в HTML страницы.
Мастер салона вставил «идеальный robots.txt» из Google — через месяц в выдаче остались только главная и контакты. В шаблоне были Disallow: /feed/ и строки от чужого магазина, которые задели блог. Одна лишняя строка может стоить дороже, чем кажется. Ниже — без копипаста с форумов: только то, что реально нужно сайту услуг или магазину на WordPress.
- Откройте robots.txt и поймите, кто его отдаёт
- Снимите галочку «не индексировать» на боевом домене
- Сравните robots.txt и noindex: что чем закрывать
- Вставьте безопасный минимум: что можно и нельзя
- Выберите один способ правки без FTP
- Проверьте важные страницы в Яндекс Вебмастере
- Частые вопросы
- Как создать robots.txt в WordPress без FTP?
- Где находится robots.txt в WordPress?
- Как проверить robots.txt и не закрыть важные страницы?
- Можно ли закрыть wp-admin в robots.txt?
- Чем robots.txt отличается от noindex в WordPress?
- Нужен ли Disallow: / чтобы закрыть сайт?
- Какую строку Sitemap указать?
Откройте robots.txt и поймите, кто его отдаёт
Первый шаг без FTP и плагинов: в браузере откройте https://ваш-домен.ru/robots.txt и сохраните текст «как есть» в заметку. Если завтра что-то сломается, откатитесь к этой копии.
На практике два источника: виртуальный (WordPress сам отдаёт текст, файла на диске нет) и физический (лежит в корне хостинга и главнее плагина). Типичная ошибка: в браузере файл есть, на хостинге пусто — значит, виртуальный режим. Править нужно один источник.
- Откройте /robots.txt в браузере и скопируйте текст.
- Зайдите в файловый менеджер хостинга (или FTP) и проверьте, есть ли файл robots.txt в корне.
- Если файла нет, а в браузере текст есть — это виртуальный WordPress или SEO-плагин; если файл на диске есть — правки только в нём, настройки Yoast/Rank Math не сработают, пока физический файл не удалите.
- Сравните текст в браузере с тем, что видите в плагине. Если разные — у вас конфликт двух версий.
Снимите галочку «не индексировать» на боевом домене
Боль после переноса с тестового сайта: в админке всё «включено», а в поиске тишина. Проверьте Настройки → Чтение → «Просить поисковые системы не индексировать сайт». На рабочем домене галочка должна быть снята.
С WordPress 5.3 при галочке ядро перестало писать Disallow: / в robots.txt — вместо этого ставится noindex в HTML. Старые гайды до сих пор советуют Disallow: /, и владельцы копируют опасную строку. После переноса с теста: снимите галочку, проверьте /robots.txt, удалите старый файл с Disallow: /.
robots.txt управляет обходом сайта роботом, но не гарантирует удаление страницы из выдачи. Чтобы убрать дубль из поиска, нужен noindex в SEO-плагине. На практике путают эти два инструмента — и месяцами ждут эффекта от неправильного способа.
Сравните robots.txt и noindex: что чем закрывать
Хотите убрать мусор — теги, архивы, служебные URL? Сначала noindex в Yoast или Rank Math. robots.txt — только для того, куда роботу не нужно ходить вообще.
| Задача | Что делать | Чего не делать |
|---|---|---|
| Убрать теги и архивы из поиска | noindex в SEO-плагине | Disallow: /tag/ в robots.txt без noindex |
| Закрыть админку от роботов | Disallow: /wp-admin/ + Allow: /wp-admin/admin-ajax.php | Disallow: /wp-includes/ (ломает стили и скрипты) |
| Временно закрыть весь сайт на тесте | Галочка в Чтение или noindex на страницах | Disallow: / на боевом домене «на всякий случай» |
| Скрыть внутренний поиск ?s= | Disallow: /?s= в robots.txt (опционально) | Disallow: /*?* без понимания — режет UTM и фильтры магазина |
В реальном проекте агрессивный шаблон с Disallow: /wp-content/ и Disallow: /wp-includes/ часто ломает отображение сайта: робот не видит картинки и CSS. Google прямо предупреждает: robots.txt не удаляет URL из выдачи — для скрытия нужен noindex. Минимальный безопасный набор — другой.
Вставьте безопасный минимум: что можно и нельзя
Не копируйте «универсальный robots.txt на 40 строк» с форумов. Для обычного сайта услуг или блога хватит короткого шаблона. Подставьте свой домен и адрес карты сайта.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /feed/Sitemap: https://ваш-домен.ru/wp-sitemap.xml
Строка Allow: /wp-admin/admin-ajax.php — официальное правило ядра WordPress для форм и виджетов.
| Правило | Можно в robots.txt | Нельзя без веской причины |
|---|---|---|
| Админка | Disallow: /wp-admin/ | — |
| Картинки и загрузки | Не трогать /wp-content/ | Disallow: /wp-content/ |
| Стили и скрипты | Не трогать /wp-includes/ | Disallow: /wp-includes/ |
| Весь сайт | Только на закрытом тесте осознанно | Disallow: / на боевом домене |
| Карта сайта | Строка Sitemap: с рабочим URL | Забыть обновить после смены плагина |
Для Yoast/Rank Math в Sitemap укажите их карту (часто sitemap_index.xml). WooCommerce: не копируйте чужой Disallow для /cart/ без проверки URL.
Выберите один способ правки без FTP
Три рабочих пути. Смешивать их — типичная ошибка: правите в Yoast, а на диске лежит старый файл и перебивает всё. Выберите один способ и придерживайтесь его.
- Yoast SEO: SEO → Инструменты → Редактор файлов → robots.txt. Работает, пока нет физического файла в корне.
- Rank Math: General Settings → Edit robots.txt. Удалите физический дубликат, если хотите виртуальный режим.
- Физический файл: создайте robots.txt в корне через файловый менеджер хостинга. Имеет высший приоритет над плагином.
- Плагин WP Robots Txt: поле на Настройки → Чтение — если нет Yoast/Rank Math.
- После смены SEO-плагина откройте /robots.txt и проверьте строку Sitemap — адрес карты часто меняется.
- Сохраните копию старого файла перед правкой: так проще откатиться, если что-то пошло не так.
Схема: браузер /robots.txt → один редактор → Яндекс Вебмастер (Анализ robots.txt) → при необходимости Google Search Console.
Проверьте важные страницы в Яндекс Вебмастере
Вы поймёте, что всё сработало, когда выполнены три условия: в /robots.txt нет Disallow: / и блокировки /wp-content/; в Вебмастере URL главной, услуг и статьи блога показывают «разрешено»; строка Sitemap ведёт на рабочую карту сайта. Это и есть критерии успеха — понятный результат без догадок и «кажется, всё нормально».
- Подключите сайт в Яндекс Вебмастер, если ещё не сделали.
- Откройте Инструменты → Анализ robots.txt.
- Проверьте URL главной, страницы услуг (например /uslugi/) и одной статьи из блога.
- Статус должен быть «разрешено» для страниц, которые должны быть в поиске.
- Если подключена Google Search Console — смотрите, нет ли роста «Заблокировано robots.txt» для важных URL.
- Через 1-2 недели сравните: не пропали ли статьи и каталог из выдачи.
Архивы и теги закрывайте noindex в плагине, а не только Disallow. Сомневаетесь в настройках — напишите через форму или Telegram; обзор услуг — на /uslugi, другие гайды — в /stati/.
Материал проверен: Андрей Дикий (создаёт сайты и продвигает их статьями, SEO/GEO).
Источники: справка WordPress (do_robots, robots_txt, wp-sitemap.xml), пост make.wordpress.org о noindex с версии 5.3, Google Search Central и Яндекс Вебмастер по robots.txt; LSI-кластер запросов собран через SERP на 2026-09-18 (точные показы Вордстата недоступны).
Частые вопросы
Как создать robots.txt в WordPress без FTP?
Откройте Yoast SEO → Инструменты → Редактор файлов или Rank Math → Edit robots.txt. Вставьте минимальный шаблон из статьи и сохраните. Если на хостинге уже лежит физический robots.txt, сначала решите, какой источник главный — иначе правки в плагине не применятся.
Где находится robots.txt в WordPress?
Чаще виртуальный: WordPress отдаёт /robots.txt без файла на диске. Физический лежит в корне сайта и перебивает виртуальный.
Как проверить robots.txt и не закрыть важные страницы?
В браузере — нет Disallow: / и /wp-content/. В Вебмастере: Инструменты → Анализ robots.txt, проверьте главную, услуги и статью — «разрешено».
Можно ли закрыть wp-admin в robots.txt?
Да: Disallow: /wp-admin/ и Allow: /wp-admin/admin-ajax.php — стандарт для WordPress.
Чем robots.txt отличается от noindex в WordPress?
robots.txt говорит роботу «не заходи сюда». noindex на странице — «не показывай в поиске, но можешь зайти». Для тегов и архивов нужен noindex в SEO-плагине; robots.txt — для служебных путей вроде админки и логина.
Нужен ли Disallow: / чтобы закрыть сайт?
На боевом домене — нет. С WP 5.3 используйте галочку в Чтение или noindex. Disallow: / часто забывают после переноса с теста.
Какую строку Sitemap указать?
WordPress 5.5+: wp-sitemap.xml. Yoast/Rank Math: часто sitemap_index.xml. После смены плагина обновите строку в /robots.txt.
