Почему Google не индексирует страницы: 10 причин
Вы опубликовали новую статью на WordPress, проверили её на сайте, добавили в Sitemap — но в Google её по-прежнему нет. Проходит несколько дней, а страница не появляется в поиске и не приносит органический трафик.
🤔 Почему Google индексирует одни страницы, а другие словно игнорирует?
Причина не всегда очевидна. Иногда индексации мешают настройки robots.txt, директива noindex или неправильный canonical. В других случаях проблема связана с ошибками сервера, дублированием контента или недостаточной ценностью страницы для пользователей.
Самое неприятное: сайт может выглядеть совершенно исправным. Страница открывается в браузере, WordPress сообщает об успешной публикации, а посетители могут переходить по ссылке напрямую. Но всё это ещё не гарантирует, что Google включит URL в поисковый индекс.
В этой статье разберём 10 основных причин проблем с индексацией, покажем, где искать ошибки и как последовательно проверить сайт без случайных изменений SEO-настроек.
💡 Главное: обнаружение страницы, её сканирование и индексация — разные этапы. Сначала выясните, на каком этапе возникла проблема, и только потом исправляйте настройки.
Индексация и сканирование: в чём разница
Прежде чем менять настройки сайта, важно понять, как Google обрабатывает страницы.
Процесс можно условно разделить на три этапа:
- Обнаружение URL. Google узнаёт, что страница существует, например через Sitemap или внутреннюю ссылку.
- Сканирование. Googlebot обращается к URL и получает содержимое страницы.
- Индексация. Google анализирует полученную информацию и решает, включать ли страницу в поисковый индекс и какую версию считать основной.
Если Google обнаружил URL, это ещё не означает, что он уже посетил страницу. Если робот просканировал материал, это не гарантирует его появления в поиске.
Даже правильно настроенный сайт не может заставить Google индексировать абсолютно каждую публикацию.
Поэтому не стоит сразу менять все SEO-настройки, удалять плагины или переписывать статью. Начните с проверки конкретного адреса.
1. Проверьте страницу в Google Search Console
Это первый и самый важный шаг при диагностике индексации.
Откройте Google Search Console, выберите нужный ресурс и вставьте полный адрес проблемной страницы в инструмент «Проверка URL».
Затем изучите информацию об индексировании. При необходимости запустите проверку опубликованной страницы, чтобы выяснить, доступна ли она поисковому роботу сейчас.
Обратите внимание на возможные статусы:
- URL есть в Google. Страница находится в индексе, хотя это не гарантирует её показ по каждому запросу.
- Обнаружена, не проиндексирована. Google знает об адресе, но пока не включил его в индекс.
- Просканирована, не проиндексирована. Робот посетил страницу, однако Google не добавил её в индекс.
- Исключена из-за noindex. Найдена директива, запрещающая индексацию.
- Заблокирована файлом robots.txt. Правила файла ограничивают сканирование URL.
- Ошибка сервера или переадресации. Нужно проверить HTTP-ответ и работу перенаправлений.
Названия статусов могут немного отличаться в зависимости от языка интерфейса и отчёта.
⚠️ Не делайте вывод только по запросу site:вашдомен.kz. Он не заменяет полноценную диагностику. Для проверки конкретного URL используйте Google Search Console.
Запишите обнаруженный статус. Он поможет определить, какие проверки выполнять дальше.
2. Проверьте robots.txt
Файл robots.txt содержит правила, которые регулируют сканирование сайта поисковыми роботами.
Если в нём случайно запрещено сканирование нужных разделов, Google может не получить содержимое страниц, которые должны участвовать в поиске.
Для WordPress файл часто доступен по адресу:
https://вашдомен.kz/robots.txt
Откройте его в браузере и проверьте правила, относящиеся к нужным URL.
Например:
User-agent: *
Disallow: /
Такое правило запрещает сканирование всех URL для всех роботов, которые соблюдают эти инструкции.
Если оно случайно появилось на рабочем сайте, поисковые системы не смогут нормально обходить его страницы.
Проверьте также, нет ли более узких правил, блокирующих определённый каталог, категорию или отдельный URL.
Что важно проверить на WordPress:
- разрешено ли сканирование опубликованных записей и страниц;
- не заблокированы ли нужные разделы сайта;
- не мешают ли правила доступу к ресурсам, необходимым для корректной отрисовки;
- соответствует ли файл фактической структуре сайта.
💡 Важный нюанс: robots.txt не является надёжным способом удалить страницу из индекса. Google иногда может показывать адрес, даже если содержимое страницы недоступно для сканирования.
Не копируйте готовый файл из случайного источника без проверки. Ошибочное правило может затронуть сразу весь сайт.
3. Убедитесь, что на странице нет noindex
Директива noindex сообщает поисковым системам, что страницу не следует включать в индекс.
Она может присутствовать в HTML-коде:
<meta name="robots" content="noindex">
Иногда аналогичное ограничение передаётся через HTTP-заголовок X-Robots-Tag.
В WordPress noindex может появиться из-за настроек SEO-плагина, параметров конкретной записи или включённого запрета на индексацию сайта.
Как проверить noindex
- Откройте проблемный URL в Google Search Console.
- Изучите сведения об индексировании страницы.
- Проверьте HTML-код на наличие noindex.
- Посмотрите настройки индексации записи в SEO-плагине.
- Проверьте глобальные настройки WordPress.
В стандартной панели WordPress настройка видимости для поисковых систем обычно находится в разделе «Настройки → Чтение». Убедитесь, что случайно не включена опция, предлагающая поисковым системам не индексировать сайт.
Если используется SEO-плагин, дополнительно проверьте настройки конкретной страницы и общие правила индексации.
Не удаляйте noindex со всех страниц автоматически. Для служебных, технических и некоторых дублирующих URL такое ограничение может быть намеренным.
Исправляйте его только в том случае, если страница действительно должна появляться в поиске.
4. Проверьте canonical и дубли страниц
Ещё одна распространённая причина — несколько URL с одинаковым или очень похожим содержимым.
В таких ситуациях Google может выбрать одну основную версию страницы. Этот механизм связан с canonical.
Например, один материал доступен по нескольким адресам из-за параметров URL или технических особенностей сайта. В результате Google может предпочесть другой адрес тому, который вы хотите продвигать.
В HTML-коде страницы может находиться такая запись:
<link rel="canonical" href="https://вашдомен.kz/nuzhnaya-stranica/">
Canonical указывает предпочтительный URL для поисковых систем.
Что проверить в canonical
- Указывает ли canonical на правильную страницу.
- Открывается ли указанный адрес и возвращает ли корректный ответ.
- Совпадает ли предпочтительная версия URL с адресами во внутренних ссылках.
- Не указывает ли страница случайно на другой материал.
- Нет ли нескольких конкурирующих версий одного содержимого.
Если canonical указывает на другой URL, Google может выбрать его основной версией и не показывать текущую страницу отдельно.
При этом canonical — это сигнал, а не безусловная команда: Google может выбрать другую основную страницу, если другие сигналы указывают на неё.
⚠️ Не прописывайте всем страницам canonical на главную. Это может помешать правильной обработке самостоятельных статей, категорий и других важных разделов.
5. Проверьте HTTP-ответ страницы
Иногда страница открывается в браузере, но сервер возвращает поисковому роботу ошибку или некорректный ответ.
Для обычной индексируемой страницы, которая должна открываться самостоятельно, ожидается HTTP-статус 200 OK.
Другие ответы могут указывать на проблему:
- 404 — страница не найдена;
- 403 — доступ запрещён;
- 5xx — ошибка на стороне сервера;
- перенаправление — необходимо проверить его цель и цепочку переходов.
Что проверить
Убедитесь, что:
- страница доступна без авторизации;
- сервер не выдаёт ошибку при обращении к URL;
- отсутствуют бесконечные циклы редиректов;
- адрес не перенаправляет на удалённую или нерелевантную страницу;
- сервер корректно сообщает поисковым системам об отсутствии материала.
Отдельного внимания заслуживает ситуация soft 404. Это случай, когда URL формально возвращает 200 OK, но вместо полноценного содержимого показывает пустую страницу или сообщение об отсутствии материала.
Если страница удалена окончательно, не нужно искусственно возвращать ей 200 OK.
- Если есть подходящая замена, настройте корректный редирект 301.
- Если замены нет, обычно уместен ответ 404 или 410.
Исправляйте HTTP-ответ исходя из реального состояния страницы, а не только ради индексации.
6. Убедитесь, что страница есть в Sitemap
XML-карта сайта помогает Google обнаруживать важные URL. В WordPress её может создавать сама система или SEO-плагин.
Часто карта доступна по одному из адресов:
- https://вашдомен.kz/wp-sitemap.xml
- https://вашдомен.kz/sitemap_index.xml
Конкретный путь зависит от конфигурации сайта и используемых инструментов.
Что проверить в Sitemap
- Карта открывается без ошибок.
- Нужная страница включена в неё.
- В карте нет ненужных технических URL.
- Ссылки ведут на актуальные версии страниц.
- Sitemap добавлена в Google Search Console.
Если нужной страницы нет в карте, выясните причину. Возможно, её исключает настройка SEO-плагина или сама страница не соответствует выбранным правилам включения в Sitemap.
После исправления отправьте актуальную карту через Google Search Console, если это необходимо.
💡 Помните: Sitemap помогает обнаружить URL, но не гарантирует индексацию. Ежедневно отправлять одну и ту же неизменённую карту в надежде ускорить процесс не нужно.
Если проблема затрагивает множество страниц, проверьте общие настройки формирования Sitemap, а не исправляйте каждый адрес отдельно.
7. Проверьте качество и уникальность контента
Если технических запретов нет, сервер работает корректно, а Google уже просканировал страницу, причина может быть связана с содержимым.
Например, материал:
- почти полностью повторяет другую публикацию;
- не даёт самостоятельного ответа на вопрос пользователя;
- состоит из общих фраз без конкретики и практической пользы;
- поверхностно раскрывает заявленную тему;
- отличается от похожей статьи только заголовком и несколькими предложениями.
При этом количество символов само по себе не определяет, будет ли страница проиндексирована. Короткий материал может быть полезным, а длинная статья — не иметь достаточной самостоятельной ценности.
Как улучшить статью
Перед переписыванием ответьте на несколько вопросов:
- Решает ли материал конкретную задачу читателя?
- Есть ли в нём понятные объяснения и практические примеры?
- Предоставляет ли он информацию, которой не хватает похожим страницам?
- Соответствует ли содержимое заголовку и поисковому намерению?
- Не повторяет ли публикация другую статью на вашем сайте?
Если несколько материалов раскрывают одну тему почти одинаково, определите, действительно ли каждый из них нужен отдельно. Иногда полезнее объединить пересекающиеся публикации, чем создавать множество похожих страниц.
Не добавляйте текст только ради увеличения объёма. Улучшайте материал так, чтобы он приносил читателю реальную пользу.
8. Добавьте внутренние ссылки
Google может обнаружить страницу через Sitemap, но внутренние ссылки помогают поисковой системе лучше понимать структуру сайта и находить материалы в контексте других публикаций.
Если статья существует отдельно от остальных страниц и на неё практически никто не ссылается, стоит проверить внутреннюю перелинковку.
Как улучшить перелинковку
- Добавьте ссылку из тематической статьи.
- Убедитесь, что публикация находится в логичной структуре разделов.
- Используйте понятный и релевантный текст ссылки.
- Проверьте, не ведут ли внутренние ссылки на старые или неправильные URL.
- Найдите страницы, которые оказались изолированы от остального сайта.
Например, в статье о техническом SEO можно разместить ссылку на материал о скорости сайта на WordPress, если это помогает читателю разобраться в теме.
Важно, чтобы ссылка действительно соответствовала контексту.
💡 Лучше несколько полезных внутренних ссылок, чем десятки случайных. Перелинковка должна помогать читателю и логично связывать материалы сайта.
9. Проверьте, видит ли Google содержимое страницы
Некоторые сайты формируют часть содержимого с помощью JavaScript. Если важный текст не появляется при отрисовке или зависит от недоступных ресурсов, Google может получить неполное представление о странице.
Чтобы проверить ситуацию, откройте URL в Google Search Console и посмотрите результат проверки опубликованной страницы.
Обратите внимание на следующие моменты:
- Отображается ли основной текст.
- Видны ли заголовок и важные элементы страницы.
- Не блокируются ли необходимые CSS- и JavaScript-ресурсы.
- Не появляется ли ошибка вместо содержимого.
- Доступна ли страница без входа в аккаунт.
Если сайт построен на стандартных записях WordPress, причина может быть вовсе не в JavaScript. Проблему также вызывают запреты сканирования, ошибки сервера и неправильные настройки SEO-плагина.
Поэтому сначала проверьте, что именно получает Google, и только потом рассматривайте изменения темы или кода.
10. Что делать со статусом «Просканирована, не проиндексирована»
Статус Crawled — currently not indexed означает, что Google просканировал страницу, но на момент формирования отчёта не включил её в индекс.
Сам по себе этот статус не указывает на единственную причину. Необходимо проверить как техническую сторону, так и содержимое публикации.
Порядок действий
- Проверьте noindex, canonical и HTTP-ответ.
- Убедитесь, что страница не является дублем другого материала.
- Оцените самостоятельную ценность и полезность содержимого.
- Добавьте подходящие внутренние ссылки.
- Проверьте, что Google получает полноценный текст страницы.
- Исправьте найденные проблемы.
- После изменений запросите повторное сканирование через Google Search Console.
Если технических ошибок нет, не нужно бесконечно нажимать кнопку запроса индексации. Лучше разобраться, чем ваша страница полезна пользователю и почему она должна существовать отдельно от других материалов.
При этом даже после исправления всех замечаний индексация не гарантируется: окончательное решение принимает Google.
Как ускорить индексацию новых страниц WordPress
После публикации статьи проведите короткую техническую проверку.
Чек-лист перед отправкой URL в Google:
- Убедитесь, что страница возвращает 200 OK.
- Проверьте отсутствие случайного noindex.
- Убедитесь, что robots.txt не блокирует нужный URL.
- Проверьте canonical.
- Убедитесь, что страница присутствует в Sitemap.
- Добавьте хотя бы одну релевантную внутреннюю ссылку.
- Проверьте доступность содержимого для Googlebot.
- Откройте URL Inspection и при необходимости запросите индексацию.
Не ожидайте, что новая публикация обязательно появится в поиске в тот же день. Сроки зависят от множества факторов, а запрос на повторное сканирование не гарантирует ни определённого срока, ни включения страницы в индекс.
Если проблема касается сразу большого количества URL, ищите общую причину: настройки WordPress, правила SEO-плагина, robots.txt, ответы сервера или формирование Sitemap.
Чек-лист: почему страница не индексируется
Перед изменением настроек сайта пройдитесь по этому списку.
- Проверил URL через Google Search Console.
- Убедился, что страница доступна без авторизации.
- Проверил HTTP-ответ и редиректы.
- Убедился, что robots.txt не блокирует нужный URL.
- Проверил отсутствие случайного noindex.
- Проверил canonical и возможные дубли.
- Убедился, что URL присутствует в Sitemap.
- Оценил полезность и самостоятельную ценность контента.
- Добавил релевантные внутренние ссылки.
- Проверил, что Google может получить содержимое страницы.
- После исправлений запросил повторное сканирование.
Если вы нашли конкретную техническую ошибку, сначала исправьте её, а затем проверьте результат. Не меняйте несколько настроек одновременно без необходимости — иначе будет сложнее определить, что именно повлияло на ситуацию.
Если Google не индексирует страницы WordPress, это не всегда означает серьёзную поломку. Иногда поисковый робот ещё не обработал URL, иногда мешают noindex, canonical или ошибки сервера, а иногда странице не хватает самостоятельной ценности или внутренних ссылок.
Начинайте с Google Search Console, определяйте причину и исправляйте только подтверждённые проблемы. Не меняйте все SEO-настройки подряд и не рассчитывайте, что многократная отправка Sitemap заставит Google включить страницу в индекс.
Когда сайт технически доступен, страницы связаны между собой, а содержимое полезно и не дублирует другие публикации, у Google появляется больше возможностей корректно обнаруживать и обрабатывать материалы.
Но есть важный момент: даже технически правильная страница не получает гарантированного места в индексе. Поэтому работа над индексацией — это сочетание технической диагностики, качественного контента и грамотной структуры сайта.