Мягкий 404, или soft 404, появляется, когда страница формально отвечает кодом 200, но по смыслу сообщает, что материала нет. Пользователь видит фразу «ничего не найдено», пустую карточку товара, удаленную услугу или шаблон без основного содержания. Сервер при этом утверждает, что запрос выполнен успешно. Для поисковой системы это противоречивый сигнал: адрес доступен технически, но индексировать на нем почти нечего.
Проблема встречается не только на интернет-магазинах. Она возникает в блогах после удаления статей, на сайтах услуг после смены структуры, в каталогах из-за пустых фильтров, в маркетплейсах при исчезновении товара и на проектах с JavaScript, где сервер отдает одинаковый каркас для любого URL. Отдельные случаи редко влияют на весь сайт, но массовые мягкие 404 расходуют ресурсы обхода, загрязняют отчеты и мешают поисковику понять, какие страницы действительно важны.
Ниже разберем, чем мягкий 404 отличается от обычной ошибки, как его обнаружить без слепой веры одному отчету и какое решение выбрать для каждого типа страницы.
Что такое soft 404 простыми словами
Обычная несуществующая страница должна вернуть HTTP-код 404 или 410. Код 404 означает, что ресурс не найден, а 410 говорит, что он удален окончательно. Поисковый робот видит статус и постепенно исключает адрес из индекса. Подробно назначение ответов сервера разобрано в статье про HTTP-коды и SEO.
Мягкий 404 устроен иначе. Сервер возвращает 200 OK, редирект 301 или другой формально успешный ответ, хотя конечная страница не решает задачу пользователя. Например:
- товар удален, но карточка осталась пустой и отвечает 200;
- любой ошибочный URL открывает главную страницу через 301;
- фильтр без товаров показывает нулевую выдачу с кодом 200;
- статья удалена, а на ее месте остался заголовок и блок похожих материалов;
- приложение отдает один HTML-каркас, а сообщение об ошибке появляется только после выполнения JavaScript;
- страница содержит текст «материал не найден», но в заголовке и canonical остается старый адрес.
Термин soft 404 не является отдельным HTTP-статусом. Это классификация поисковой системы: по совокупности признаков она решает, что успешный ответ фактически похож на страницу ошибки. Поэтому два похожих URL могут обрабатываться по-разному, а отчет в панели вебмастера может меняться после повторного обхода.
Почему мягкие 404 вредят SEO
Поисковик тратит обход на бесполезные адреса
Если сайт генерирует тысячи пустых фильтров, тегов или карточек, робот вынужден запрашивать их снова. На небольшом проекте несколько десятков URL не создадут катастрофу. На крупном каталоге поток бесполезных страниц способен замедлить обнаружение новых товаров, категорий и обновлений. Здесь soft 404 пересекаются с задачей управления краулинговым бюджетом.
Индекс засоряется слабыми страницами
Код 200 предлагает поисковику рассматривать URL как полноценный документ. Если таких документов много, структура сайта выглядит менее определенной. Одни пустые страницы могут быстро исчезнуть из индекса, другие будут периодически возвращаться, особенно если на них продолжают вести меню, sitemap или внутренние ссылки.
Внутренние сигналы уходят не туда
Ссылки на удаленную карточку передают ей часть внутреннего веса и создают тупик для посетителя. Еще хуже массовый редирект всех удаленных адресов на главную: связь по смыслу отсутствует, поэтому поисковик может признать переход мягкой ошибкой, а человек не поймет, где оказался.
Аналитика и мониторинг дают ложную картину
В отчетах URL может считаться доступным, потому что отвечает 200. Простая проверка статусов не заметит проблему. Команда видит нормальную доступность, хотя конверсионный путь уже сломан. Поэтому технический мониторинг должен оценивать не только код, но и содержимое, заголовок, canonical, объем основного текста и характерные сообщения об отсутствии данных.
Пользователь не получает понятного следующего шага
Хорошая страница ошибки объясняет, что произошло, и предлагает маршруты: поиск, каталог, популярные разделы, контакт. Пустая страница с кодом 200 часто выглядит как поломка. Она снижает доверие и увеличивает вероятность ухода, даже если формально остается доступной.
Чем мягкий 404 отличается от обычного 404
У обычного 404 технический и смысловой уровни совпадают. Сервер сообщает, что ресурса нет, а интерфейс показывает понятное объяснение. У мягкого 404 эти уровни расходятся: статус говорит «все хорошо», а контент говорит «здесь ничего нет».
Важно не считать любой короткий документ ошибкой. Страница контактов, форма входа, карточка с одной характеристикой или лаконичный ответ справочника могут быть полезными. Поисковик оценивает не только количество знаков, но и шаблон, назначение URL, сходство с другими страницами, заголовки, внутренние сигналы и пользовательский смысл.
Не является soft 404 и временно недоступная функция, если сервер честно возвращает 503 и указывает, что обслуживание закончится. Не стоит заменять временную ошибку кодом 404 или 200. Каждый статус должен описывать реальное состояние ресурса.
Основные сценарии появления мягких 404
Удаленный товар остается с пустым шаблоном
CMS сохраняет URL, название и хлебные крошки, но убирает цену, фото, описание и возможность заказа. Если товар вернется через несколько дней, можно оставить карточку с полноценной информацией, статусом наличия и альтернативами. Если позиция удалена навсегда и аналогов нет, нужен 404 или 410. Бессрочная пустая карточка с кодом 200 пользы не дает.
Все несуществующие адреса ведут на главную
Такую настройку часто делают из желания «сохранить вес». На деле главная не является заменой любой статьи или товара. Массовый редирект на нерелевантную страницу поисковик способен трактовать как soft 404. Пользователь тоже теряет контекст. Правила выбора назначения описаны в материале про редиректы при переезде сайта.
Фильтры и поиск создают пустые результаты
Комбинации цвета, размера, бренда и цены могут породить почти бесконечное число URL. Часть комбинаций не содержит товаров, но остается открытой для индексации. Для таких страниц нужна единая политика: полезные спросовые фильтры оформляют как посадочные, а пустые и технические сочетания не включают в sitemap, не усиливают ссылками и при необходимости закрывают от индексирования или возвращают подходящий статус.
Ошибка существует только после JavaScript
Сервер отдает 200 и общий HTML, затем приложение запрашивает данные. Если API отвечает, что запись не найдена, интерфейс рисует ошибку, но HTTP-статус документа уже остался успешным. Лучше определять отсутствие ресурса на сервере или использовать серверный рендеринг, способный вернуть 404 до отправки тела ответа. Особенности такого стека разобраны в статье про JavaScript SEO.
Страница удалена только визуально
Контент скрыли стилями, убрали основной блок из шаблона или оставили служебный текст. В исходном HTML по-прежнему могут быть старый title, canonical, структурированные данные и ссылки. Получается смешанный сигнал: метаданные описывают полноценную сущность, а видимый документ ее не содержит.
Неправильный редирект ведет на внутренний поиск
Удаленный товар направляют на поиск по его названию. Если поиск ничего не находит и отвечает 200, конечная страница становится мягким 404. Редирект имеет смысл только на близкую замену: актуальную модель, новую категорию, объединенный материал или другой URL с тем же намерением пользователя.
Как найти soft 404 на сайте
Начните с отчетов поисковых систем
Панели для вебмастеров показывают URL, которые робот классифицировал как мягкие ошибки. Это хороший источник примеров, но не полный реестр. Отчет может запаздывать, хранить уже исправленные адреса или не охватывать новые шаблоны. Проверяйте несколько URL каждого типа и ищите общую причину.
Если система пометила полезную страницу ошибкой, не пытайтесь просто отправить ее на переобход. Сначала оцените, достаточно ли на ней основного содержания, уникален ли title, совпадает ли canonical, доступна ли сущность без JavaScript и нет ли фразы, похожей на сообщение об отсутствии результата.
Просканируйте сайт краулером
Соберите все внутренние URL и отфильтруйте ответы 200 с подозрительными признаками:
- очень маленький объем основного текста;
- одинаковый title на большом числе адресов;
- слова «не найдено», «нет результатов», «товар отсутствует», «страница удалена»;
- одинаковый canonical на главную;
- отсутствие H1, цены, описания или другого обязательного блока шаблона;
- страницы, которые не входят в нормальную структуру, но доступны по параметрам;
- перенаправления на главную, поиск или общий каталог без смысловой близости.
Сам по себе порог длины не доказывает ошибку. Он нужен для построения короткого списка, который затем проверяют по шаблонам и назначению страниц.
Сопоставьте sitemap с реальными ответами
В XML sitemap должны находиться только канонические индексируемые URL с кодом 200. Если карта содержит удаленные товары, пустые категории или редиректы, она продолжает приглашать робота на проблемные адреса. После исправления удалите такие записи и обновите дату только у действительно измененных страниц.
Проверьте внутренние ссылки
Найдите, откуда посетители и роботы попадают на пустые URL. Источником могут быть меню, карточки, хлебные крошки, блоки рекомендаций, старые статьи и автоматически создаваемые теги. Методика поиска и исправления таких маршрутов есть в гайде про битые ссылки.
Изучите серверные логи
Логи покажут, какие подозрительные адреса регулярно запрашивают поисковые роботы. Это особенно полезно для параметров и старых URL, на которые уже нет видимых ссылок. Сгруппируйте запросы по шаблону, частоте, коду ответа и объему переданных данных. Если робот ежедневно обходит тысячи пустых результатов с кодом 200, проблема важнее единичной старой страницы.
Проверьте URL вручную с разных уровней
Для каждого примера посмотрите:
- исходный HTTP-статус;
- всю цепочку редиректов;
- итоговый URL;
- title, description и canonical;
- исходный HTML без выполнения JavaScript;
- отрисованную страницу в браузере;
- наличие URL в sitemap и внутренних ссылках;
- соответствие страницы намерению пользователя.
Такой разбор отделяет реальную мягкую ошибку от полезной, но короткой страницы.
Как выбрать правильное исправление
Вернуть 404, если замены нет
Если адрес ошибочен или материал удален без подходящего аналога, отдайте настоящий 404. Страница может сохранять дизайн сайта, поиск, навигацию и рекомендации, но заголовок ответа должен оставаться 404. Не блокируйте такой URL в robots.txt: роботу нужно увидеть статус, чтобы исключить адрес.
Вернуть 410 для окончательно удаленного ресурса
Код 410 прямо сообщает, что ресурс удален. Его можно использовать для страниц, которые точно не вернутся и не имеют замены. На практике поисковые системы понимают и 404, поэтому 410 не является обязательным. Гораздо важнее убрать URL из sitemap и внутренней перелинковки.
Сделать 301 на близкий аналог
Редирект уместен, когда существует новая версия того же товара, объединенная статья, переименованная категория или другой документ, который решает ту же задачу. Не выбирайте направление только по совпадению пары слов. Сравните назначение, содержание и ожидание пользователя.
Восстановить полезное содержание
Иногда URL нужен бизнесу и имеет спрос, но страница слишком пустая. Тогда исправление состоит не в смене кода, а в наполнении: добавьте описание, характеристики, условия, ответы на вопросы, актуальный статус, альтернативы и понятное действие. После обновления оставьте 200 и self-canonical.
Оставить временно отсутствующий товар доступным
Карточка может оставаться индексируемой, если товар вернется и страница сохраняет ценность. Покажите характеристики, фото, причину отсутствия, ожидаемый срок, уведомление о поступлении и близкие варианты. Не заменяйте основное содержание одной фразой «нет в наличии».
Закрыть технические страницы от индексации
Результаты внутреннего поиска, бесконечные параметры и служебные комбинации часто не предназначены для поиска. Для них применяют согласованный набор мер: не добавляют в sitemap, не создают массовые ссылки, ставят корректный canonical, используют meta robots там, где это оправдано, и ограничивают генерацию URL. Одного запрета в robots.txt недостаточно, если адреса уже известны поисковику.
Как должна выглядеть полезная страница 404
Страница ошибки нужна людям, даже если ее не следует индексировать. Она должна быстро подтвердить, что адрес не найден, и предложить понятные варианты продолжения. Минимальный набор:
- заметный заголовок с объяснением;
- ссылка на главную;
- поиск по сайту, если он действительно работает;
- ссылки на основные разделы;
- несколько популярных или свежих материалов;
- контакты для важных сценариев;
- корректный HTTP-код 404;
- отсутствие canonical на главную и разметки Article для несуществующего материала.
Не перегружайте ошибку десятками ссылок. Цель не в том, чтобы превратить ее в карту сайта, а в том, чтобы помочь человеку восстановить маршрут.
Техническая схема исправления по шагам
Шаг 1. Разделите URL по типам
Создайте группы: удаленные навсегда, временно недоступные, ошибочные, имеющие замену, пустые фильтры, слабые страницы и ошибки приложения. Для каждой группы должно быть одно правило, а не ручное решение для тысяч адресов.
Шаг 2. Зафиксируйте ожидаемое поведение
В таблице укажите текущий статус, целевой статус, назначение редиректа, canonical, наличие в sitemap и источник внутренних ссылок. Такая карта снижает риск, что разработчик исправит код ответа, а SEO-специалист забудет удалить URL из навигации.
Шаг 3. Исправьте шаблон или маршрутизацию
Массовые мягкие 404 почти всегда возникают на уровне шаблона, роутера или интеграции с каталогом. Исправлять каждую страницу отдельно бессмысленно. Сначала устраните правило, которое возвращает 200 для отсутствующей сущности или отправляет все ошибки на главную.
Шаг 4. Очистите внутренние сигналы
Обновите ссылки, хлебные крошки, рекомендации, sitemap, canonical и структурированные данные. Удаленный URL не должен одновременно возвращать 404 и оставаться в главном меню. Если назначен 301, внутренние ссылки лучше сразу заменить на конечный адрес.
Шаг 5. Проверьте на тестовой выборке
Возьмите несколько URL каждого типа: существующий, удаленный, ошибочный, параметрический, карточку без наличия и редирект. Проверьте статусы, цепочки, HTML и отрисовку. Обязательно убедитесь, что исправление не превратило действующие страницы в ошибки.
Шаг 6. Запустите повторный обход
После релиза снова просканируйте сайт и сравните показатели с исходной выгрузкой. В панели вебмастера можно запросить проверку исправления, но результат появится не мгновенно. Поисковику нужно повторно посетить адреса.
Шаг 7. Добавьте автоматический контроль
Для ключевых шаблонов настройте тесты. Они должны проверять, что несуществующий идентификатор возвращает 404, удаленный товар не попадает в sitemap, редирект ведет на ожидаемый аналог, а страница с 200 содержит обязательные блоки. Такой контроль предотвращает возврат проблемы после обновления CMS.
Что не нужно делать
Не перенаправляйте все ошибки на главную. Не закрывайте URL в robots.txt до того, как поисковик увидит 404 или 410. Не ставьте 200 только ради красивой страницы ошибки. Не удаляйте полезные короткие страницы по одному признаку. Не оставляйте старые адреса в sitemap после смены статуса. Не используйте canonical как замену HTTP-коду: он является подсказкой о предпочтительной версии, а не сообщением об отсутствии ресурса.
Также не пытайтесь «лечить» отчет массовой отправкой URL на переобход. Если причина находится в шаблоне, поисковик снова увидит тот же результат. Сначала исправьте поведение, затем подтвердите его публичными запросами.
Чек-лист проверки soft 404
- Несуществующий URL возвращает настоящий 404, а не 200.
- Окончательно удаленные страницы возвращают 404 или 410.
- Редиректы ведут только на близкие по смыслу аналоги.
- Нет массового перенаправления ошибок на главную или внутренний поиск.
- Страницы 404 не входят в XML sitemap.
- На удаленные URL не ведут меню, карточки, хлебные крошки и рекомендации.
- Внутренние ссылки после редиректа заменены на конечные адреса.
- Пустые фильтры и результаты поиска не создают индексируемые посадочные без пользы.
- Временно отсутствующие товары сохраняют характеристики и полезные действия.
- JavaScript-приложение возвращает корректный статус на уровне документа или серверного рендеринга.
- Canonical не маскирует ошибку и соответствует реальной индексируемой странице.
- На странице ошибки нет Article, Product и другой разметки несуществующей сущности.
- Отчет поисковой системы сопоставлен с данными краулера и логов.
- После исправления выполнен повторный публичный обход.
- Для ключевых шаблонов настроены автоматические тесты статуса и содержания.
FAQ
Может ли полезная короткая страница быть ошибочно признана soft 404?
Да. Такое возможно, если документ содержит мало уникальных признаков, повторяет шаблон ошибки или зависит от JavaScript. Проверьте доступность основного содержания в HTML, уникальные title и H1, self-canonical, внутренние ссылки и соответствие страницы запросу. Не добавляйте текст только ради объема: усиливайте именно полезную часть.
Что лучше для удаленной страницы: 404 или 410?
Оба кода подходят. 410 точнее сообщает об окончательном удалении, а 404 универсален и привычен. Выбор менее важен, чем удаление URL из sitemap и ссылок, отсутствие бесполезного редиректа и стабильный ответ сервера.
Нужно ли делать редирект удаленного товара на категорию?
Только если категория действительно является разумным продолжением и помогает выбрать близкую замену. Для уникального товара без аналога общий каталог часто слишком широк. В таком случае честный 404 с рекомендациями лучше автоматического 301.
Можно ли закрыть мягкий 404 через robots.txt?
Обычно нет. Запрет обхода мешает поисковику увидеть исправленный статус. Сначала верните 404, 410 или правильный редирект, уберите URL из sitemap и внутренних ссылок. Ограничение обхода используют отдельно для предсказуемых технических пространств, а не как универсальное средство удаления.
Что делать с товаром, который скоро вернется в продажу?
Оставьте код 200, если карточка сохраняет характеристики, фотографии, описание и полезный сценарий: уведомление о поступлении, срок ожидания или аналоги. Если страница состоит только из сообщения об отсутствии, она рискует стать мягкой ошибкой и разочаровать посетителя.
Через сколько soft 404 исчезнет из отчета?
Срок зависит от частоты обхода и числа URL. Важные страницы могут быть перепроверены быстро, глубокие адреса крупного каталога дольше. После исправления отправьте приоритетные примеры на проверку, обновите внутренние сигналы и следите за динамикой, а не за мгновенным исчезновением каждой записи.
Влияет ли soft 404 на позиции всего сайта?
Единичная ошибка обычно не обрушает видимость проекта. Риск растет, когда пустые URL создаются массово, получают ссылки, входят в sitemap и забирают значительную часть обхода. Тогда поисковику сложнее быстро находить качественные изменения и понимать структуру сайта.
Что сделать сейчас
Возьмите три типа адресов: случайный несуществующий URL, недавно удаленную страницу и пустой фильтр. Проверьте код ответа, редиректы, canonical, sitemap, внутренние ссылки и видимое содержание. Если все три возвращают 200 или ведут на главную, вероятно, проблема заложена в общем шаблоне.
После этого соберите выборку из отчетов поисковых систем и краулера, разделите URL по сценариям и исправляйте правилами. Для одних страниц правильным ответом будет 404, для других 301, для третьих полноценное восстановление содержания. Такая классификация быстрее и безопаснее, чем массовое удаление или одинаковый редирект.
Если нужна независимая проверка статусов, sitemap, внутренних ссылок и шаблонов, напишите в Telegram Alextram. Для первичной сортировки URL и подготовки таблицы задач можно использовать XelaGroup, но итоговые ответы сервера и пользовательские маршруты нужно подтвердить на публичном сайте.