Как проверить индексацию сайта в Яндексе и Google: что смотреть и как исправлять проблемы

Короткий ответ: чтобы проверить индексацию сайта, мало увидеть несколько URL в поиске. Нужно сверить, обнаружили ли Яндекс и Google нужную страницу, не мешают ли ей robots.txt, noindex или неверный canonical, есть ли URL в sitemap, отдает ли он код 200 и ведут ли на него внутренние ссылки. Индексация считается нормальной тогда, когда в поиск попадают именно важные страницы: услуги, статьи, категории и локальные посадочные.

На практике бизнес часто теряет не весь сайт, а самые ценные URL. Главная индексируется, а новая статья не видна. Категория есть в поиске, а страница услуги висит вне индекса. Поэтому проверка нужна не ради галочки, а чтобы понять, где сайт теряет входы из органики.

С чего начинать проверку

Первый слой - быстрый ручной просмотр по оператору site:. Он помогает понять, видит ли поисковик домен в принципе и всплывает ли нужный URL по точному адресу или по заголовку.

Но site: не равен полноценной диагностике. Выдача не объясняет, почему страница исключена, не всегда показывает актуальный срез и легко вводит в ложное спокойствие. Поэтому после быстрого просмотра нужно идти в Яндекс Вебмастер и Google Search Console. Именно там видно, что произошло с URL: обнаружен ли он, есть ли конфликт с каноникалом, не считает ли поисковик страницу дублем и нет ли технических ограничений. Если нужен базовый технический фундамент, его удобно держать рядом с материалом про sitemap, robots.txt и canonical.

Что смотреть в вебмастерах по каждой странице

Лучше проверять не «сайт в целом», а конкретные URL, которые должны приводить трафик. Для каждой страницы полезно пройти один и тот же маршрут.

• Статус URL. Обнаружена ли страница, обработана ли она и нет ли прямого сигнала, что она исключена.
• Канонический адрес. Если основным выбран другой URL, текущая страница может не получить собственную индексацию.
• Наличие в sitemap. Новые статьи и ключевые услуги должны быть в карте сайта, иначе вы теряете простой сигнал приоритета.
• Код ответа сервера. Для рабочей страницы нужен 200. Редиректы, ошибки и нестабильные ответы мешают нормальной обработке.
• Внутренние ссылки. Если на URL почти никто не ссылается изнутри сайта, он выглядит второстепенным даже при хорошем тексте.

Если сайт давно не обслуживался, проверку индексации лучше делать как часть SEO-аудита сайта, а не отдельным ритуалом.

Пошаговый чек-лист, если страница не индексируется

1. Откройте финальный URL. Он должен жить без путаницы с HTTP/HTTPS, дублями со слешем и странными параметрами. Если реальная версия страницы другая, именно ее и надо анализировать дальше.

2. Проверьте код ответа. Для важного URL нужен 200. Если страница отдает 301, 302 или плавающие ошибки, поисковик может переносить или откладывать обработку.

3. Сверьте meta robots и заголовки. Случайный noindex после тестов, миграции или шаблонной правки встречается чаще, чем кажется.

4. Откройте robots.txt. Запрет на обход не всегда означает полный запрет индексации, но он мешает поисковику дочитать сигналы страницы и нормально ее переоценить.

5. Посмотрите canonical. Если каноникал ведет на раздел, список или похожий URL, вы сами говорите поисковику, что эта страница вторична.

6. Проверьте sitemap и перелинковку. Новую страницу нужно не только опубликовать, но и связать с блогом, категорией, услугой или соседними материалами. Для молодых проектов это особенно важно, и в материале про SEO для нового сайта эта логика хорошо видна на старте.

Мини-кейс: статья есть, а в поиске ее нет

Типовая ситуация у сайта услуг выглядит так: статья опубликована, URL открывается, текст написан неплохо, но через несколько дней ее нельзя найти ни по заголовку, ни по тематическому запросу. Виновником часто оказывается не «слабый домен», а связка из нескольких мелких ошибок.

Например, статья не попала в sitemap, на нее нет ссылки с главной и блога, а шаблон случайно ставит canonical на общий список статей. Дополнительно сама публикация почти не связана с коммерческими страницами, поэтому поисковик не видит, почему этот URL важен внутри структуры сайта. По отдельности каждый дефект кажется терпимым, но вместе они задерживают индексацию сильнее, чем отсутствие какого-то загадочного SEO-фактора.

Частые ошибки при проверке индексации

• Смотреть только домен целиком. В индексе есть главная, но ключевые страницы услуг и статьи никто не контролирует поштучно.
• Путать доступность с индексацией. URL открывается в браузере, но закрыт каноникалом, noindex или шаблонной настройкой.
• Игнорировать дубли. Похожие страницы спорят друг с другом, а основным становится не тот URL, который нужен бизнесу.
• Забывать про внутренние ссылки. Новый материал опубликован, но не встроен в маршрут пользователя и поискового обхода.
• Ждать без проверки. Без sitemap, связей и технической чистоты ожидание только растягивает проблему.

Что делать после исправлений

После правок важно не плодить новые URL и не дублировать материал в надежде «ускорить» индекс. Лучше усилить текущую страницу: проверить ее доступность, canonical, внутренние ссылки, sitemap и затем наблюдать за статусом в вебмастерах.

Если проблема повторяется не на одной странице, а на целом типе URL, ищите общий шаблон: настройки шаблона, генерацию canonical, карту сайта, логику ссылок из разделов и различия между версиями страницы. Именно такой паттерн-поиск чаще всего позволяет исправить индексацию системно, а не чинить каждый URL вручную как отдельную аварию.

• URL открывается с кодом 200 и без лишних параметров.
• На странице нет случайного noindex и конфликтующего canonical.
• URL присутствует в sitemap и связан с релевантными разделами сайта.
• Контент закрывает интент, а не дублирует соседние страницы почти дословно.
• В Яндекс Вебмастере и Google Search Console нет явной причины исключения, которую вы уже могли снять.

Когда этот базовый уровень собран, индексация перестает быть лотереей и становится управляемым процессом. Если нужно быстро найти, где именно теряются важные страницы, можно разобрать сайт вручную в Telegram: t.me/xelatram. А если нужен ускоренный контур для тем, структур, FAQ и редакционных заготовок под блог и SEO, подойдет XelaGroup.

FAQ

Достаточно ли оператора site: для проверки индексации?

Нет. Это хороший быстрый сигнал, но не полноценная диагностика. Полную картину дают Яндекс Вебмастер и Google Search Console, потому что там видны причины исключения, статус обхода и конфликтующие сигналы.

Почему страница открывается, но не индексируется?

Потому что доступность URL и решение об индексации - разные вещи. Страница может быть закрыта технически, иметь другой canonical, быть слабой по содержанию или проигрывать похожему URL внутри того же сайта.

Через сколько проверять новую страницу после публикации?

Первичную техническую проверку лучше делать сразу: код ответа, sitemap, ссылки, canonical, meta robots. А дальше уже наблюдать, как быстро поисковики обнаруживают и обрабатывают URL в своих инструментах.

Какие разделы нужно держать под особым контролем?

Страницы услуг, коммерческие категории, сильные статьи под спрос и локальные посадочные. Именно они чаще всего должны приводить бизнесовый трафик, поэтому их состояние в индексе важнее технического мусора.