Дубли страниц – что в них плохого и как их найти

Технический аудит сайта обязательно включает поиск дублей. Это еще один шаг к хорошему отношению поисковых роботов и высоким позициям в выдаче.

Как убрать с сайта дубли страниц – компания Webis Group

Дубль – это полное или частичное совпадение контента на страницах с разными URL. Пример частичного копирования – сквозные блоки, преимущества, тарифы, отзывы. Полные близнецы негативно сказываются на позициях, но их проще найти и удалить. Частичные не так вредны, но разыскать их в разы сложнее.

Дубли опасны с точки зрения SEO. Они мешают поисковым алгоритмам, оттягивают на себя часть трафика, не давая развиваться основной статье. За них можно попасть под санкции Google и Яндеекса, что скажется в постепенном проседании позиций. Чтобы аккуратно удалить лишнее, нужно разобраться в механике сайта, учесть факторы, которые влияют на производительность, скорость работы и поведение пользователя.

Что в этом плохого?

Дублями называют разделы с одинаковым содержанием, доступные по нескольким адресам. Поисковые роботы их игнорируют, ранжируя только одну из всех. Из-за этого в индекс попадает меньше страниц, ведь поисковику приходится проверять лишнее, а на каждый ресурс у него есть лимит. Есть риск, что робот не проиндексирует полезные статьи, пока проверяет 20 аналогов одного раздела.

Вторая проблема – потеря ссылочного веса. Часть внутренней ссылочной массы распределяется на копии, а это снижает значимость основной страницы. Если посетитель поделится информацией с «близнеца», переходы будут именно на неё. Это меняет поведенческие факторы, а данные метрики не отражают реальную картину.

По общему запросу в выдаче показывают то одну, то другую ссылку. Поток пользователей разделяется, данные по поведенческим факторам тоже. Поисковики не могут привязать их к контенту – только к адресу. В итоге полезная статья получает низкое ранжирование, так как Яндекс/ Google видит половину трафика (вторая половина уходит на копию).

Почему они появляются

  • Карточка одного товара в разных категориях по разным URL (часто бывает в Bitrix).
  • Неправильная структура сайта.
  • Разные адреса: с www и без, с протоколами http/https, со слешами, цифрами, обозначающими уровень вложенности.
  • Ошибки в автоматической генерации документов.
  • Некорректные настройки, ошибки CMS (частая проблема Word Press).

Иногда поисковики считают дублями разделы с неуникальными тегами Title, Description, H1. Иногда это следствие ошибок контент-менеджера, который сделал новый раздел, не настроив редирект со старого. Они конкурируют между собой и вынуждены бороться за внимание поисковиков/ пользователей.

Что делать

При техническом аудите дубли находят с помощью специальных программ:

  • Панель веб-мастера Яндекс/ Google. В Яндексе копии нужно искать в разделе меню «Страницы в поиске», в Google – «Покрытие».
  • Спецсервисы. Модуль Screaming Frog Seo Spider выловит все копии (раздел Duplicate). Альтернатива – онлайн-сервисы для технического аудита типа ApollonGuru. Они проводят анализ по десяткам параметров, дают полную картину и список рекомендаций.
  • Ручной поиск по контенту. Можно просто вводить в строку поиска точные цитаты (обязательно в кавычках). Метод полезен, если ресурс небольшой, а контент во всех разделах уникальный.

Когда есть список адресов, к работе подключается программист. Бороться с копиями можно разными способами. Самый простой – 310 редирект, когда пользователей перенаправляют с близнеца на основную страницу. Чтобы решить проблему множественных копий, можно создать канонический раздел. Canonical в коде будет указывать поисковым роботам на оригинал, который должен быть в выдаче. Этот способ требует времени, так как во всех URL конкурентов нужно прописать адрес канона. Можно запретить краулеру индексировать аналоги в файле robots.txt.

К сожалению, простых и быстрых решений не существует. Если в вашей команде нет программиста, который разберется с проблемой, команда Webis Group готова прийти на помощь. Мы проведем технический аудит, найдем дубли, удалим их без вреда функциональности и позициям.

Консультации по телефону +7 (495) 636-29-78.