Дубли — это разные URL с одинаковым или почти одинаковым содержанием и одной поисковой задачей. Устранять их нужно по причине появления: технические копии, параметры, фильтры и пересекающиеся посадочные требуют разных решений.
Безопасный порядок такой: собрать похожие URL, проверить их роль, выбрать основной адрес, согласовать редиректы, canonical, внутренние ссылки и sitemap.xml, затем повторно обойти сайт. Массовое закрытие страниц или редирект на главную могут убрать полезную посадочную и потерять накопленные сигналы.
Что считать дублем
Полный дубль показывает один материал по нескольким адресам: по HTTP и HTTPS, с www и без него, со слешем и без слеша, с UTM-меткой и без неё. Частичный дубль отличается заголовком, несколькими абзацами или набором товаров, но отвечает на тот же запрос и ведёт к тому же действию.
Сходство само по себе нормально. Страницы аудита и регулярного продвижения могут повторять блок о компании, но решать разные задачи. Проблема начинается, когда посетителю трудно понять, зачем существуют оба URL.
Рабочий тест: закончите для каждого адреса фразу «эта страница нужна человеку, который хочет…». Если ответы совпадают, страницы, вероятно, конкурируют. Если задачи различаются, это должно быть видно в содержании, составе предложения, примерах, CTA и внутренних ссылках, а не только в title.
Чем дубли мешают сайту
Поисковая система может сама выбрать основной URL, но её выбор не обязан совпасть с планом владельца. В выдаче может оказаться адрес с параметром, старая версия или менее полная страница. Это не автоматическая санкция, однако:
- ссылки и другие сигналы распределяются между адресами;
- робот обходит комбинации параметров вместо важных страниц;
- показы, входы и конверсии учитываются по разным URL;
- редактор обновляет одну копию, а другая устаревает;
- похожие посадочные могут сменять друг друга в поиске.
Если проблема связана с протоколом, доменом или параметрами, сверьте решение с материалом про sitemap.xml, robots.txt и canonical. Если пересекаются самостоятельные посадочные, проверьте каннибализацию запросов.
Откуда берутся повторяющиеся URL
Технические варианты
Одна страница бывает доступна по HTTP и HTTPS, с www и без него, в разном регистре, с index.html или с разным окончанием пути. Такие варианты приводят к единому стандарту на сервере.
Параметры, сортировки и фильтры
UTM-метка не меняет содержание, но создаёт отдельный URL. Сортировка переставляет элементы, а фильтр может сформировать и полезную посадочную, и пустую комбинацию. Нельзя закрывать все параметры одним правилом. Сначала выясните, меняется ли содержание, есть ли самостоятельный спрос и должны ли на вариант вести ссылки.
Пагинация и архивы
Страницы пагинации не являются полными копиями, если на каждой свой набор материалов. Не направляйте без проверки canonical со всех номеров на первую страницу: робот может хуже находить элементы дальше по списку. Архивы автора, меток и дат допустимы, пока помогают навигации. Десятки тонких списков с одинаковыми ссылками обычно лишние.
Пересекающиеся услуги и геостраницы
Страницы «продвижение сайта», «SEO-продвижение» и «раскрутка сайта» нередко описывают одно предложение разными словами. Геостраницы становятся копиями, если меняется только город. Canonical не исправит слабую структуру: страницы объединяют или добавляют реальные различия — условия, состав предложения и полезные локальные данные. Придумывать отличия ради уникальности не стоит.
Копии статей и карточек
Материал может появиться в блоге, новостях и базе знаний, а карточка товара — получить разные пути из категорий. Причина часто находится в маршрутизации CMS.
Как найти дубли: пошаговая диагностика
1. Соберите адреса
Объедините URL из sitemap.xml, обхода сайта краулером, аналитики, поисковых кабинетов и, если доступны, серверных журналов. Карта сайта не покажет случайные параметры, а краулер не найдёт страницы без внутренних ссылок. Сохраните код ответа, robots, canonical, title, H1, глубину и источник обнаружения.
2. Сгруппируйте похожие URL
Разберите адрес на протокол, хост, путь, слеш и параметры. Найдите повторяющиеся title и H1, но считайте их поводом для проверки, а не доказательством.
Сравнивайте основной текст без меню и футера. Не ориентируйтесь только на долю совпавших слов: технические копии могут различаться из-за виджета, а по-разному написанные посадочные — отвечать на один запрос.
3. Сверьте сигналы
Для каждой группы проверьте код ответа, цепочку переходов, robots, canonical, наличие в sitemap.xml, внутренние ссылки и основной URL, выбранный поисковой системой.
Частое противоречие: canonical указывает на один адрес, карта сайта содержит второй, а меню ведёт на третий. Оператор site: подходит для быстрой разведки, но не даёт полного списка. Используйте несколько источников; порядок описан в инструкции как проверить индексацию сайта в Яндексе и Google.
4. Определите роль страницы
Для каждого URL запишите интент, аудиторию, предложение и целевое действие. Если два адреса отвечают на один вопрос, выберите основной. Учитывайте структуру, полноту материала, удобство адреса и ссылки. Самый короткий URL не всегда лучший: старый адрес может быть понятным и уже связанным с другими материалами.
5. Составьте карту исправлений
Добавьте в таблицу колонки «группа», «основной URL», «действие», «причина», «ответственный» и «проверка». Для одной группы нужен 301, для другой — canonical, для третьей — объединение текста, для четвёртой — сохранение обеих страниц с разведением задач.
Как выбрать способ устранения
301-редирект
Постоянный редирект подходит, если лишний URL не нужен посетителю. Его применяют к вариантам протокола и хоста, старым адресам, техническим копиям и объединённым публикациям. Перенаправляйте сразу на ближайшую релевантную конечную страницу, без цепочек и циклов.
После настройки замените внутренние ссылки. Редирект не должен постоянно компенсировать неправильные адреса в меню и шаблонах.
Canonical
Canonical уместен, когда вторичный вариант должен открываться, но предпочтительным для поиска считается другой URL. Типичные случаи — параметры отслеживания, некоторые сортировки, печатная версия или карточка с несколькими маршрутами. На основной странице обычно ставят canonical на неё саму.
Это подсказка, а не запрет. Если вторичный адрес находится в sitemap.xml, получает большинство ссылок или заметно отличается по содержанию, поисковая система может выбрать другой URL. Поэтому все сигналы должны быть согласованы.
Noindex
Noindex используют для внутреннего поиска, служебных страниц и тонких архивов, которые нужны посетителю, но не выдаче. Не закрывайте такой URL в robots.txt до того, как робот сможет прочитать метатег: запрет обхода и запрет индексации решают разные задачи.
Объединение или разведение
Если обе страницы содержат полезные разделы, соберите один цельный материал, перенесите сильные фрагменты, уберите повторы и настройте 301 со второго URL. Обновите внутренние ссылки.
Если оба адреса нужны, различие должно быть содержательным. Страница SEO-аудита описывает диагностику и итоговый документ, а страница продвижения — регулярные работы. Меняют структуру, примеры, вопросы и CTA, а не только title и H1.
Реалистичный пример
На сайте есть /seo/, /seo-prodvizhenie/ и /uslugi/raskrutka-sayta/. На всех трёх один оффер, одинаковый список работ и одна форма; различаются только вводный абзац и заголовок. Меню ведёт на /seo-prodvizhenie/, а показы распределяются между адресами.
Владелец проверяет, есть ли разные услуги, аудитории или сценарии выбора. Различий нет, поэтому основным остаётся /seo-prodvizhenie/: он используется в навигации и понятно описывает услугу. Из копий переносят полезные ответы, повторы убирают. Старые адреса получают 301, внутренние ссылки заменяют, а в sitemap.xml оставляют конечный URL с самоссылочным canonical.
Рядом существует /seo-audit/. Он предлагает разовую диагностику, поэтому его не перенаправляют. Страницу усиливают отдельным результатом услуги, составом проверки, ограничениями и собственным CTA. Теперь каждый адрес решает свою задачу.
Ограничения и частые ошибки
- Canonical на главную для всех дублей. Основной адрес должен быть эквивалентным документом.
- Закрытие всех параметров. Среди них могут быть полезные фильтры, пагинация и посадочные.
- Противоречивые сигналы. Редиректы, canonical, sitemap.xml и ссылки должны поддерживать один вариант.
- Редирект на нерелевантный раздел. Если замены нет, корректный 404 или 410 честнее перехода на главную.
- Замена только метатегов. Разные title не разведут страницы с одинаковой задачей.
- Удаление без проверки ценности. До объединения изучите входы, ссылки, конверсии и полезные фрагменты.
- Игнорирование источника. Если CMS создаёт копии, ручная очистка даст временный результат.
- Ожидание точного срока. Изменения видны после повторного обхода; гарантировать срок нельзя.
Если проблема затрагивает много шаблонов, включите проверку URL в регулярный SEO-мониторинг сайта.
Практический чек-лист
- собран общий список URL из карты сайта, обхода, аналитики и поисковых кабинетов;
- проверены ответы сервера, robots, canonical, title, H1 и основной текст;
- у каждой сохраняемой страницы есть самостоятельный интент;
- для настоящих копий выбран основной URL;
- ценные части объединяемых страниц перенесены без повторов;
- лишние адреса получили релевантный 301 или согласованный canonical;
- фильтры и пагинация не закрыты без анализа;
- внутренние ссылки ведут сразу на конечные адреса;
- sitemap.xml содержит только основные индексируемые URL;
- на основных страницах стоят самоссылочные canonical;
- нет цепочек, циклов и массовых переходов на главную;
- после выкладки выполнен повторный обход;
- результат проверяется по canonical, входам и целевым действиям.
FAQ
Одинаковые блоки в футере создают дубли?
Нет. Меню, футер и другие шаблонные элементы закономерно повторяются. Оценивайте основное содержание и задачу страницы.
Что выбрать: 301 или canonical?
Если вторичный адрес больше не нужен человеку, обычно выбирают 301. Если он должен оставаться доступным, но поиску следует предпочесть основной URL, применяют canonical.
Нужно ли добавлять URL с canonical в sitemap.xml?
В карте сайта обычно оставляют основные индексируемые адреса. Вторичный URL с canonical на другой документ не стоит предлагать как самостоятельную страницу.
Можно ли удалить все страницы с параметрами?
Нет. Параметр может управлять полезным фильтром, пагинацией или состоянием каталога. Сначала проверьте, как меняется содержание и нужен ли вариант посетителю.
Когда появится результат?
После повторного обхода и обработки URL поисковыми системами. Фиксированного срока нет. Контролируйте ответы сервера, выбранные canonical, динамику лишних адресов и входы на основную страницу.
Достаточно ли уникализировать тексты похожих услуг?
Нет, если интент и предложение остались одинаковыми. Сначала разведите задачи, аудитории или формат работы. Если различие нельзя объяснить клиенту, страницы лучше объединить.
Что делать дальше
Начните с одной группы URL и пройдите весь цикл: источник дубля, роль страниц, основной адрес, способ устранения, внутренние ссылки и публичная проверка. Затем исправьте шаблон или правило CMS, чтобы копии не появлялись снова.
Если нужен взгляд со стороны на структуру и безопасный сценарий объединения, напишите в Telegram. Подготовить таблицу URL, варианты структуры и черновики пояснений можно в XelaGroup, но редиректы и индексирование всегда проверяйте на реальном сайте.