Почему сайта нет в Яндексе: восемь причин из справки Вебмастера

Сайта нет в Яндексе по одной из причин, которые сам Яндекс называет в справке Вебмастера: страница закрыта от индексации, сервер отвечает ошибкой, страница считается копией другой, указывает каноническим адресом на другую или оценена как малоценная. Какая именно из них ваша, видно в самом Вебмастере, так что гадать не придётся. Начать надо с того, чтобы подтвердить сайт в Вебмастере и открыть список исключённых страниц.

То, что страницы исключены из поиска, ещё не значит, что на сайт наложены санкции, и на его позиции они сами не влияют: так написано в справке Яндекса. После исправления страница может вернуться в поиск примерно за две недели. Других сроков на этой странице справки нет.

Где видна причина

В Яндекс Вебмастере для каждой исключённой страницы показан статус. Справка перечисляет восемь вариантов. Сверьтесь с таблицей.

Что написано в Вебмастере	Что это значит	Что делать
Страница признана малоценной или маловостребованной	Алгоритм решил, что страницу вряд ли будут искать: на ней мало содержимого, она повторяет другие или не совпадает с запросами	Улучшить содержимое, затем отправить на переобход. Перепроверка сама ничего не изменит
Ошибка при скачивании или обработке	Сервер вернул ответ 3XX, 4XX или 5XX	Проверить ответ сервера, убедиться, что страница есть в карте сайта
Индексирование запрещено в robots.txt или метатегом noindex	Запрет стоит в файле или в коде страницы	Снять запрет. Заодно проверить, не истёк ли срок регистрации домена
Страница перенаправляет на другие	Стоит переадресация	Убедиться, что она нужна
Страница дублирует другую	Робот считает её копией	Если это ошибка, следовать совету про дубли
Страница неканоническая	Метатег rel="canonical" указывает на другой адрес	Проверить, что указан нужный адрес
Адрес сайта признан зеркалом	Разные адреса сайта склеены	Следовать рекомендациям по разделению
Найдены нарушения	Яндекс нашёл угрозы безопасности или нарушения	Открыть раздел «Безопасность и нарушения»

Статусы я передал своими словами по английской версии справки, поэтому в вашем кабинете формулировки могут чуть отличаться.

Порядок проверки, если времени мало

Идите сверху вниз и останавливайтесь на первой находке.

1. Сайт подтверждён в Вебмастере, и вы видите его данные? Если нет, начните с этого.
2. Открывается ли главная без ошибок? Команда curl -sI https://вашсайт.ру/ должна показать ответ 200 или переадресацию 301 на нужный адрес, но не 4xx и не 5xx: ответы 3XX, 4XX и 5XX справка называет причиной исключения.
3. Что лежит в robots.txt и в коде главной страницы: запрет Disallow: / и метатег noindex.
4. Не истёк ли срок регистрации домена.
5. Что написано в разделе «Безопасность и нарушения».
6. Какая причина названа у главной страницы в списке исключённых.

Забытый запрет после запуска

Самая обидная причина самая простая. Пока сайт делают, его закрывают от поисковиков: строкой в robots.txt или метатегом noindex. Я сам так поступаю с сайтами, которые ещё не готовы. После запуска запрет остаётся: никто не вспомнил его снять.

Проверка занимает две минуты. Откройте вашсайт.ру/robots.txt. Если там строка Disallow: / для всех роботов, сайт закрыт целиком. Затем откройте исходный код главной страницы (в браузере Ctrl+U или Cmd+Option+U) и поищите noindex. Яндекс отдельно предупреждает: если страница закрыта в robots.txt, робот не сможет её скачать и не увидит метатег noindex, поэтому важен порядок: сначала снимите запрет в файле, потом проверяйте код страницы. Иногда запрет ставит сама система управления сайтом: например, она могла автоматически поставить noindex, изменить канонический адрес или закрыть раздел. Это стоит проверить после любого переезда или смены темы.

Отдельная ловушка из справки: проверьте, не закончился ли срок регистрации домена. Сайт на просроченном домене просто не открывается.

Что значит «малоценная» и почему это не приговор

Статус «малоценная или маловостребованная» не техническая ошибка и не санкция. Справка делит его на два вида. Малоценная страница повторяет другую или не содержит текста, который видит робот. Маловостребованная страница содержит текст и не имеет технических ошибок, но по ней никто в поиске ничего не ищет.

Что делать с первой: проверить, что заголовки описывают содержимое, что важный текст не спрятан только в картинках, скриптах или фреймах и что робот получает именно тот код, который вы ожидаете. Если страница не нужна, её скрывают от индекса канонической ссылкой, переадресацией, запретом в robots.txt или noindex. Со второй работа другая: переписать страницу так, чтобы она отвечала на то, что люди спрашивают. Яндекс предлагает для этого Вордстат и статистику запросов в Вебмастере.

Алгоритм перепроверяет страницы регулярно, по описанию в справке почти каждый день, и решение может измениться без ваших действий. Поэтому статус «малоценная» сегодня не значит, что страница будет такой же через месяц.

Если сайта нет совсем, даже по названию

Тогда начните с основ. Подтвердите сайт в Вебмастере. Откройте robots.txt и код главной на предмет запрета. Откройте адрес сайта в браузере с телефона и по мобильной сети: сайт должен открываться без ошибок и без предупреждения о сертификате (если нет, смотрите статью «Сертификат истёк, что делать»). Затем проверьте раздел нарушений: если взлом, сначала чистка, а не просьба «проиндексируйте». Порядок описан в статье «Сайт взломали: что делать».

Сколько ждать индексации нового сайта, Яндекс на тех страницах справки, которые я открыл, не называет. Не буду выдумывать срок за него. Сайт может быть доступен роботу, но выдача по названию вашей компании ещё не появилась: это нормально для первых дней, и ориентируйтесь на статус страниц в Вебмастере, а не на ощущение.

Что остаётся после исправления

Если исправили запрет или ошибку, отправьте страницу на переобход в Вебмастере и ждите. После исправления страница может появиться в поиске примерно через две недели; ускорить можно отправкой на переобход. Страница уходит из списка исключённых, если долго недоступна роботу или если на неё не ведёт ни одна внутренняя и внешняя ссылка. На ранжирование сайта в целом исключённые страницы не влияют.

Дальше начинается другая работа: чтобы сайт находили по запросам, а не по одному названию, нужны тексты, структура и ссылки. Это и есть SEO-продвижение. Если вы просто хотели убедиться, что сайт проиндексирован, моя помощь не нужна: всё из таблицы вы можете проверить сами. Сколько ждать результата от продвижения, я разбираю в статье «Через сколько SEO даст результат». Напишите адрес сайта и что показывает Вебмастер, и я скажу, какая из восьми причин ваша.

Источники

• Яндекс Вебмастер, справка: почему страницы исключены из поиска: перечень причин, срок около двух недель, влияние на ранжирование.
• Яндекс Вебмастер, справка: малоценные или маловостребованные страницы: что значит статус и что с ним делать.
• Практика проверки robots.txt и noindex: собственный порядок работы.