Как закрыть от индексации технические страницы WordPress без лишних потерь

В WordPress чаще всего индексируются не те страницы, которые приносят трафик, а служебные: результаты фильтров, архивы с пустым содержимым, вложения, служебные URL плагинов, страницы с параметрами. Проблема обычно не в одном конкретном шаблоне, а в наборе мелких дыр, через которые поисковик тратит краулинговый бюджет на мусор.

Ниже разберём рабочую схему: как найти такие страницы, чем их закрывать, где лучше использовать noindex, а где достаточно nofollow или запрета в robots.txt, и как проверить, что после правок ничего полезного не вылетело из индекса.

Какие страницы в WordPress обычно нужно закрывать

Не стоит закрывать всё подряд. Сначала разделите URL на две группы: полезные для поиска и технические. К техническим обычно относятся страницы, которые не несут самостоятельной ценности и дублируют уже существующий контент.

Типичные кандидаты на закрытие

• страницы поиска по сайту с параметром ?s=;
• архивы авторов, если на сайте один автор или архивы пустые;
• страницы вложений медиафайлов, если они не используются как отдельные посадочные;
• служебные страницы пагинации и фильтров с тонким или дублирующимся контентом;
• URL с параметрами сортировки, UTM и внутренними фильтрами, если они создают дубли;
• страницы тегов и рубрик, если они не дают уникальной ценности и разрастаются в мусор.

Если у вас уже закрыты архивы авторов и страницы поиска, это не значит, что проблема решена. Часто остаются вложения, теги, страницы с параметрами и дубли от плагинов, которые продолжают индексироваться.

Диагностика: где именно утекает индексация

Перед правками откройте отчёты в Google Search Console и посмотрите, какие URL попадают в индекс или в обход. Ищите не только ошибки, но и страницы со статусом «Просканировано, но не проиндексировано» и «Дубликат, выбранный пользователем неканонический». Это обычно первый сигнал, что сайт генерирует лишние адреса.

Полезно проверить и саму выдачу поисковика. Если в поиске находятся URL вида /attachment/, ?replytocom=, ?orderby= или страницы с параметрами фильтров, значит закрытие либо отсутствует, либо настроено неполно.

Что смотреть в первую очередь

• отчёт по индексированию в Search Console;
• список URL, которые появляются с параметрами;
• страницы вложений в медиатеке WordPress;
• архивы таксономий с нулевой или почти нулевой ценностью;
• канонические URL на страницах с дублирующимся контентом.

Если используете краулер вроде Screaming Frog, пройдитесь по сайту и выгрузите все URL с параметрами. Это быстрее, чем искать дубли вручную в админке.

Что закрывать через meta robots, а что через robots.txt

Здесь часто путают два разных механизма. robots.txt запрещает обход, но не гарантирует удаление URL из индекса, если на него уже есть ссылки. noindex говорит поисковику не держать страницу в индексе, но для этого страницу нужно сначала дать просканировать.

Практически это выглядит так: если страница должна быть доступна пользователю, но не нужна в поиске, используйте noindex. Если это технический путь, который не должен тратить обход, можно дополнительно ограничить его в robots.txt, но не полагаться только на этот файл.

Пошаговое решение для WordPress

1. Закройте вложения и служебные архивы на уровне темы или плагина

Если у вас нет отдельной логики для медиа-страниц, лучше перевести вложения на файл или родительскую запись. Это не решает все SEO-проблемы, но убирает один из самых частых дублей.

<?php
add_action('template_redirect', function () {
    if (is_attachment()) {
        $parent = get_post_field('post_parent', get_queried_object_id());
        if ($parent) {
            wp_redirect(get_permalink($parent), 301);
            exit;
        }

        wp_redirect(home_url('/'), 301);
        exit;
    }
});

Этот вариант безопаснее, чем оставлять вложения как отдельные страницы без контента. Но если у вас медиа-страницы уже приносят трафик, сначала проверьте их в поиске и только потом меняйте логику.

2. Добавьте meta robots для нужных шаблонов

Для страниц поиска, архивов тегов, пагинации или пользовательских таксономий можно управлять индексацией через wp_robots. Это штатный фильтр WordPress, и он предпочтительнее ручной вставки мета-тегов в шаблоны.

<?php
add_filter('wp_robots', function (array $robots) {
    if (is_search() || is_attachment()) {
        $robots['noindex'] = true;
        $robots['nofollow'] = true;
    }

    if (is_tag() && !is_admin()) {
        $robots['noindex'] = true;
        $robots['follow'] = true;
    }

    return $robots;
});

Здесь важно не копировать шаблон вслепую. Для тегов иногда нужен noindex, follow, а для поиска почти всегда уместен noindex, nofollow. Решение зависит от того, есть ли на странице полезные ссылки и может ли она вообще быть посадочной.

3. Ограничьте мусорные параметры в robots.txt

Если на сайте есть бесконечные комбинации параметров сортировки или фильтров, их можно частично отсечь в robots.txt. Но не пытайтесь закрыть там всё подряд: поисковики не любят слишком агрессивные правила, а часть параметров может быть полезной для пользователей и аналитики.

User-agent: *
Disallow: /*?orderby=
Disallow: /*?filter=
Disallow: /*?replytocom=
Disallow: /?s=

Этот фрагмент стоит использовать только после проверки реальных URL на сайте. Если параметр используется в важных разделах, лучше решать задачу через каноникализацию или перенастройку плагина, а не через грубый запрет.

4. Уберите индексацию страниц вложений и пустых таксономий

Если в медиатеке много файлов, а страницы вложений не нужны, можно массово перевести их на noindex и редиректить на родительский пост. Для таксономий логика похожая: если рубрика или тег не содержит уникального текста, не стоит оставлять её как полноценную SEO-страницу.

Для сайтов с большим количеством дублей удобнее использовать специализированный плагин для чистки SEO-обвязки и служебных страниц. Например, в Clearfy Pro есть инструменты для отключения лишних архивов, дублей и части технических страниц, но перед включением любых опций всё равно нужно сверить, что именно отключается на вашем сайте.

Как проверить, что решение сработало

После внедрения не ограничивайтесь визуальной проверкой в админке. Нужно убедиться, что поисковик видит нужные директивы и что URL действительно меняют статус.

1. Откройте проблемную страницу в браузере и проверьте исходный код на наличие noindex.
2. Проверьте заголовки ответа, если закрытие реализовано через серверную логику или редирект.
3. В Search Console отправьте URL на повторную проверку через инспекцию страницы.
4. Через несколько дней посмотрите, ушёл ли URL из отчёта по индексированию.
5. Проверьте, не появились ли новые дубли с другими параметрами.

Если используете редирект для вложений, код ответа должен быть 301, а конечный URL — родительская запись или главная, если родителя нет. Если используете noindex, страница должна оставаться доступной для обхода, иначе поисковик может долго не увидеть изменение.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt, но она осталась в индексе

Это типичная ситуация. Запрет на обход не равен удалению из индекса. Если URL уже известен поисковику, добавьте noindex или настройте редирект, а затем дождитесь переобхода.

Поставили noindex на важные рубрики

Такое часто случается, когда в шаблон без разбора добавляют один и тот же фильтр для всех архивов. Если рубрика даёт трафик и содержит полезный текст, не закрывайте её автоматически. Сначала проверьте статистику и поисковые запросы по этой странице.

Сломали каноникализацию на страницах с параметрами

Если у страницы с фильтром или сортировкой не настроен canonical, поисковик может считать её отдельным документом. В результате в индексе копятся дубли, а основная страница теряет вес. Проверьте, что canonical указывает на чистый URL без лишних параметров.

Закрыли всё через один SEO-плагин и забыли про тему

Некоторые темы и плагины добавляют собственные архивы, шаблоны вложений или служебные страницы. Если закрытие настроено только в одном месте, второй источник продолжит генерировать дубли. После правок проверьте тему, плагины и кастомные типы записей.

Чек-лист перед публикацией изменений

• проверены URL, которые реально попадают в индекс;
• для каждого типа страницы выбран свой способ: noindex, редирект, canonical или robots.txt;
• вложения либо редиректятся, либо закрыты от индексации;
• страницы поиска и служебные параметры не создают мусорные дубли;
• после правок проверен исходный код и ответ сервера;
• в Search Console отправлены на переобход ключевые URL;
• не закрыты полезные рубрики, теги и посадочные страницы.

Когда лучше не править руками

Если на сайте десятки шаблонов, много кастомных таксономий и старый набор SEO-правил, ручная правка в functions.php быстро превращается в источник ошибок. В такой ситуации удобнее вынести техническую чистку в отдельный слой: через SEO-плагин, через mu-plugin или через аккуратный кастомный плагин с понятным списком правил.

Главное — не смешивать в одном месте редиректы, noindex, отключение архивов и правки robots.txt без документации. Через месяц это почти невозможно поддерживать, особенно если сайт обслуживает несколько человек.

Если нужна более широкая чистка технических дублей и служебных страниц, имеет смысл посмотреть на инструменты, которые помогают централизованно управлять SEO-обвязкой, а не разносить логику по теме и нескольким плагинам. Но перед установкой любого решения сначала проверьте, какие именно URL оно меняет и как это влияет на уже проиндексированные страницы.