Как закрыть от индексации дубли архивов WordPress без поломки SEO

На WordPress дубли чаще всего появляются не из-за «плохого SEO», а из-за штатной структуры сайта: архивы по датам, авторам, рубрикам, меткам, страницам вложений, пагинации и поиску. Если сайт небольшой, это может быть незаметно. Но когда контента становится больше, поисковик начинает тратить обход на страницы, которые не несут самостоятельной ценности, а в индексе появляются лишние URL.

Самая частая ошибка здесь — закрывать всё подряд. В итоге можно случайно убрать из поиска полезные рубрики, страницы авторов или пагинацию, которая нужна для обхода. Ниже — рабочая схема: что именно закрывать, как это сделать через код и плагин, и как проверить результат.

Какие архивы WordPress обычно дают дубли

Сначала стоит понять, где именно у вас появляются лишние страницы. На типичном сайте это:

• архивы дат: /2024/05/;
• архивы авторов: /author/username/;
• страницы меток, если метки используются формально и не ведут на полезную подборку;
• страницы вложений медиафайлов;
• служебные страницы поиска по сайту;
• пагинация архивов, если на ней почти нет уникального контента.

Не все из них нужно закрывать. Например, рубрики часто полезны и для пользователей, и для SEO. А вот архивы вложений почти всегда создают мусорный слой URL, который лучше убрать из индекса и перенаправить на сам файл или родительскую запись.

Диагностика: как понять, что проблема есть

Перед изменениями проверьте, какие страницы уже попали в индекс и какие URL генерирует сайт. Это можно сделать без сложных инструментов.

Что смотреть в первую очередь

• отчет «Страницы» в Google Search Console;
• поиск по запросу site:example.com с типовыми шаблонами URL;
• список архивов в карте сайта, если она генерируется автоматически;
• наличие страниц вложений в индексе;
• дубли title и description на архивных страницах.

Если в индексе есть десятки или сотни страниц, которые не дают трафик и не нужны пользователю, это уже повод навести порядок. Но закрывать нужно не по принципу «всё noindex», а по типу страницы и ее роли на сайте.

Пошаговое решение: что закрывать, а что оставить

Удобнее идти от самого безопасного к более спорному. Сначала уберите очевидный мусор, потом проверьте, не ломается ли навигация и индексация полезных разделов.

1. Закройте страницы вложений

Страницы attachment почти никогда не нужны как отдельные посадочные. Обычно лучше перенаправить их на сам файл или на родительскую запись, если она есть. Если редирект не настроен, хотя бы поставьте noindex.

2. Проверьте архивы авторов

Если на сайте один автор или страницы авторов пустые по смыслу, их можно закрыть. Если это медиа-сайт, экспертный блог или редакция с несколькими авторами, архивы авторов могут быть полезны. Тут решение зависит от структуры контента.

3. Оцените архивы дат

Архивы по датам редко дают ценность, если у вас не новостной проект и не журнал с сильной привязкой к времени. На большинстве корпоративных и контентных сайтов их лучше закрыть.

4. Разберите метки

Метки часто плодятся автоматически и дублируют рубрики. Если метки используются как вспомогательная навигация, но не как полноценные тематические страницы, их обычно закрывают от индексации.

5. Оставьте полезные рубрики

Рубрики лучше не закрывать без причины. Если они заполнены, имеют уникальные описания и помогают пользователю ориентироваться, это нормальные посадочные страницы. Закрывать их стоит только если они пустые, технические или полностью дублируют другие разделы.

Варианты реализации: плагин или код

Если нужен быстрый и управляемый способ, есть два пути: через SEO-плагин или через код в теме/му-плагине. Для небольшого сайта плагин обычно быстрее. Для проекта с жесткими требованиями к контролю — код надежнее.

Пример через код: noindex для архивов дат, авторов и меток

Если вы не хотите зависеть от настроек плагина, можно добавить noindex,follow для нужных архивов через wp_robots. Это современный и безопасный способ, который работает на уровне robots meta.

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_date() || is_author() || is_tag() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот вариант не трогает рубрики и не ломает остальную индексацию. Но он не решает проблему страниц вложений, если они уже отдаются как отдельные URL. Для них лучше сделать редирект.

Редирект страниц вложений на родительскую запись

Если у вложения есть родитель, можно отправлять пользователя и робота на него. Это уменьшает количество бесполезных страниц в обходе и убирает дубли.

<?php
add_action( 'template_redirect', function() {
    if ( is_attachment() ) {
        $parent = wp_get_post_parent_id( get_queried_object_id() );

        if ( $parent ) {
            wp_safe_redirect( get_permalink( $parent ), 301 );
            exit;
        }

        wp_safe_redirect( home_url( '/' ), 301 );
        exit;
    }
} );

Если у вас много медиафайлов без родителя, такой редирект на главную — не лучший вариант для UX, но он лучше, чем оставлять отдельные пустые страницы в индексе. В идеале сначала привести в порядок загрузку медиа и связи с записями.

Как сделать это через плагин

Если вы используете SEO-плагин, ищите настройки индексации архивов и таксономий. Логика обычно одна и та же: отключить индексацию для архивов дат, авторов, меток и, при необходимости, вложений. Важно не путать noindex и удаление страницы из карты сайта: это разные вещи.

Если нужен более широкий контроль над дублями, чисткой служебных страниц и настройками SEO, можно посмотреть в сторону Clearfy Pro. Но даже с плагином стоит понимать, какие именно типы архивов вы отключаете, а не включать все опции подряд.

Чек-лист перед публикацией изменений

• Проверить, какие архивы реально есть на сайте.
• Решить, какие из них полезны пользователю.
• Закрыть только лишние типы страниц, а не весь архивный слой.
• Убедиться, что рубрики с трафиком не отключены случайно.
• Проверить, что страницы вложений редиректятся или получают noindex.
• Обновить карту сайта, если из нее нужно убрать служебные URL.
• Отправить важные страницы на переобход в Search Console после изменений.

Как проверить, что решение сработало

После внедрения не ограничивайтесь визуальной проверкой в браузере. Нужно убедиться, что поисковик видит именно то, что вы задумали.

Проверка в браузере и в исходном коде

Откройте архивную страницу и посмотрите исходный код. В <head> должен появиться мета-тег robots с noindex, если вы закрывали страницу через фильтр. Для редиректа вложений проверьте HTTP-статус и конечный URL.

Проверка через командную строку

Если есть доступ к серверу, удобно проверить заголовки и редиректы через curl:

curl -I https://example.com/2024/05/
curl -I https://example.com/author/admin/
curl -I https://example.com/sample-attachment/

Для архивов, закрытых через noindex, ищите мета-тег в HTML. Для вложений — статус 301 и корректный целевой URL.

Проверка в Search Console

После переобхода смотрите, уменьшается ли число страниц с пометкой «Просканировано, но не проиндексировано» или похожих служебных URL. Не ждите мгновенного эффекта: поисковику нужно время, чтобы обновить данные.

Частые ошибки и как их исправить

Закрыли рубрики вместе с метками

Это частая ошибка, когда настройки применяют «по шаблону». В результате полезные тематические страницы исчезают из поиска. Исправление простое: вернуть рубрики в индекс, а закрыть только метки и служебные архивы.

Поставили noindex, но оставили URL в карте сайта

Так делать можно, но это создает лишний шум для поисковика. Если страница не нужна в индексе, лучше убрать ее и из sitemap, если ваш плагин это позволяет.

Сделали редирект всех вложений на главную

Это технически работает, но ухудшает пользовательский сценарий. Лучше редиректить на родительскую запись, а на главную отправлять только те вложения, у которых нет нормальной цели.

Использовали robots.txt вместо noindex

Запрет в robots.txt не гарантирует удаление URL из индекса, если он уже известен поисковику. Для архивов и вложений чаще нужен именно noindex или редирект.

Практика по безопасности и производительности

Чем меньше лишних архивов и служебных страниц, тем проще поддерживать сайт. Это не только про SEO. Уменьшается количество шаблонов, которые нужно обслуживать, и снижается риск случайно открыть в индексацию пустые или дублирующие страницы.

Если вы вносите правки кодом, не редактируйте functions.php на живом сайте без бэкапа. Лучше использовать дочернюю тему или небольшой mu-plugin. Так изменения не потеряются после обновления темы.

Для сайтов, где одновременно нужно чистить дубли, отключать лишние архивы и убирать служебный шум, полезно держать под рукой инструменты вроде Clearfy Pro, но не как «магическую кнопку», а как набор точечных настроек. Сначала определите, что именно вы закрываете, потом уже включайте опции.

Если после изменений в индексе все еще остаются старые URL, проверьте, нет ли на них внутренних ссылок из меню, хлебных крошек, виджетов или блока похожих записей. Поисковик часто находит дубли именно через внутреннюю перелинковку.