Индексация вашего сайта в Яндекс, Google и других поисковиках

Индексация вашего сайта в Яндекс, Google и других поисковиках
Индексация сайта в поисковых системах: как происходит, и как ее ускорить

Поисковые системы для ответа на запрос пользователя используют индекс: базу данных ключевых слов, которым соответствуют адреса страниц, где встречаются эти слова. После введения запроса поисковик сопоставляет слова из него со словами в базе, составляет список релевантных страниц, ранжирует эти страницы и показывает пользователю.
Индексация сайта – это добавление его страниц в индекс поисковой системы. В результатах поиска отображаются только проиндексированные страницы. Этот принцип применяется в Яндекс, Google и других поисковиках. Подробнее о работе поисковых систем мы рассказывали здесь.
Как составляется индекс
Поисковый робот получает маршрут с адресами страниц, которые нужно проиндексировать. В этот список попадают

адреса, добавленные через панели веб-разработчика;
документы, на которые ссылаются внешние ресурсы;
URL, на которые есть ссылки с уже проиндексированных страниц сайта;
страницы, у которых наступил срок переобхода;
страницы, которые находит робот при обходе всего Интернета и другие страницы, выбранные поисковым алгоритмом.
Робот выкачивает содержимое документов, после чего начинается индексация.

Проверяется соответствие контента требованиям поисковика (отсеивается спам, запрещенный контент).
Если страница соответствует, начинается деление текста на слова, анализ слов и фраз, распределение по уже имеющейся базе, добавление информации о новых страницах, релевантных выделенным из текста поисковым запросам.
Процесс занимает от нескольких минут до нескольких дней. Чем быстрее страница проиндексирована, тем быстрее она примет участие в ранжировании.
От чего зависит скорость индексации
Частота добавления контента. Чем чаще добавляются новые страницы, тем чаще поисковый робот заходит на сайт.
Ссылки. И внешние, и внутренние ссылки сообщают поисковику о новом материале.
Дополнительные инструменты. Подключение RSS, репосты в социальных сетях, заказ рекламы у поисковиков с посадкой на новую страницу.
Техническая реализация. Подробнее технические моменты разберем ниже.
Настройка корректной индексации
В алгоритмах поисковых систем есть роботы для парсинга всей Сети. Они обходят все найденные в Интернете адреса и рано или поздно с высокой вероятностью попадут на ваш сайт. Но ждать, когда система сама узнает о новом ресурсе, долго. Кроме того, нужно задать правила индексирования.

1. Файл robots.txt. В него записывается набор правил для поискового робота. Правила задаются сразу для всех поисковиков или для каждой системы отдельно. В robots.txt можно исключить из индекса технические страницы, указать URL c UTM-метками, которые не нужно учитывать.
Запреты нужны не только для исключения из поиска неинформативных внутренних страниц. Они напрямую влияют на индексацию. У робота ограниченное время на посещение одного сайта (краулинговый бюджет). Важно, чтобы весь бюджет расходовался на обработку нужных страниц.
На сайтах интернет-магазинов генерируется огромное количество адресов товарных корзин пользователей, результатов внутреннего поиска. Инструкции Disallow: /bin/ # (для корзин) и Disallow: /search/ # (для поиска) закрывают от индексации эти документы.
Также в robots.txt задается адрес файла sitemap.xml.

2. Файл sitemap.xml. В нем находятся адреса всех страниц сайта, которые требуется проиндексировать.
В записи для каждой страницы указан ее URL, дата последнего изменения <lastmod>, приоритетность <priority>. По тегу <lastmod> поисковый робот узнает, что страница была обновлена и ее нужно переиндексировать. Тег <priority> задает приоритетность в очереди на индексацию. Назначается от 0 до 1. Главной странице присваивается значение 1, остальным от 0,9 до 0. Если коэффициент не указан, поисковик будет считать его равным 0,5.
Нельзя, чтобы sitemap.xml и robots.txt противоречили друг другу. Адреса закрытых от индексации страниц не должны попадать в файл sitemap.xml.
Добавление сайта в панель Яндекс.Вебмастер и Google Search Console. После подготовки указаний для поисковиков сайт добавляется в панели вебмастера. Для нового сайта можно добавить адрес главной страницы. Дальше роботы сами обойдут все страницы, ориентируясь на sitemap.xml, robots.txt, внутреннюю перелинковку. Если требуется добавить в индекс выборочные страницы, переиндексировать документ после внесения изменений, в Яндексе используется инструмент «Переобход страниц»:
В Google запросить индексацию страницы можно в панели проверки адресов:
Важно: добавление в панели Яндекса или в Google не означает автоматическое добавление в индекс. Это способ уведомить поисковик о том, что сайт нужно проиндексировать.

3. Структура сайта. В идеале структура сайта продумывается на этапе разработки. Желательно избегать многоуровневой вложенности. Оптимально – не более трех уровней от корня сайта. Более глубокие уровни индексируются дольше. Если на сайте есть дубли документов, отмечаются канонические URL для поисковиков.

4. Внутренняя перелинковка. При скачивании страницы роботы формируют список найденных на ней гиперссылок и добавляют их в план обхода. Чем больше ссылочных связей между страницами внутри сайта, тем быстрее пройдет индексация всех страниц.

5. Ответы сервера. Страницы для индексации должны отдавать код 200. Если документ перемещен, настраивается 301 редирект. Неправильно настраивать несколько редиректов – сначала с одной страницы на другую, потом на третью. Это также замедляет индексацию. Перенаправление делается сразу на конечный URL.

6. Валидность кода. Код можно проверить сервисом validator.w3.org. Важно, чтобы текстовые блоки и внутренние ссылки не были закрыты тегом <noindex>. Страница должна корректно отображаться во всех браузерах.

7. Доступность сервера. Во время обхода сервер должен работать. Если проблемы с работой сервера возникают регулярно, стоит сменить хостера.

Как ускорить индексацию
1) Добавить ссылки с главной страницы на новые или важные страницы сайта.
Например, для новостного портала это может быть блок «Последние публикации», для интернет-магазина – «Новинки»:
Ссылки с главной укажут путь роботу. После того, как страницы попадут в индекс, в блок выводятся другие документы.
2) Разместить внешние ссылки на авторитетных, быстро индексируемых ресурсах.
Для быстрой индексации активно обновляющихся сайтов с высокой трастовостью используются быстроботы. Они следят за обновлениями в тех разделах, где высокая активность, и добавляют их в индекс в течение нескольких минут после релиза. Ссылка от такого донора ускорит индексацию. Но только в том случае, если будет идти с раздела, который попадает в зону действия быстробота.
3) Регулярно размещать контент.
Чем чаще публикуется контент, тем быстрее индексируется сайт.
4) Указать скорость обхода в настройках Яндекс.Вебмастера.
Скорость обхода – количество запросов к серверу в секунду от поискового робота. Это альтернатива инструкции Crawl-delay в robots.txt. Бывает, что разработчики при указании скорости ориентируются не на фактические возможности сервера, а на значения, подсмотренные у других разработчиков. В результате скорость обхода сильно снижается, краулинговый бюджет тратится на простой, скорость индексации падает. Инструмент автоматически рассчитывает оптимальную скорость, но значения можно изменить вручную:
5) Подключить обход по счетчикам Яндекс.Метрики.
При интеграции Метрики и Вебмастера можно передавать код страницы с установленным счетчиком на индексацию автоматически.
Почему сайт не индексируется или выпал из индекса
Допущены ошибки в технической части.
Обнаружен неоригинальный контент.
Наложены санкции поисковых систем.
Есть проблемы с доступностью сервера.
В панели вебмастера вы можете узнать о возможных причинах. Рекомендуем последовательно проверить все настройки сайта. Удачного продвижения!

Почему гугл не индексирует сайт?

Если ваш сайт создан недавно, возможно, робот Google ещё не успел обработать и проиндексировать его. ... Если вы видите сообщение о том, что ваш сайт не был добавлен в индекс, возможно, это связано с тем, что он находится в другом домене. Например, получив сообщение о том, что сайт http://example.com не проиндексирован, убедитесь, что вы также добавили в свой аккаунт адрес http://www.example.com (или наоборот), и проверьте данные по нему.

Что делать если сайт не индексируется

Начнем с того, что индексация сайта и наличие его в поиске совсем разные вещи...
Что такое индексация сайта
Индексация сайта - обработка страниц сайта поисковым роботом для включения возможности находить данные через поиск.
Индексация гарантирует получение данных с сайта поисковиком, но не гарантирует присутствие их в поиске. Сайт считается приндексированным, если:
1. Поисковик знает о его существовании.
2. Поисковый робот прошел по страницам сайта, прочел их содержимое и занес его в свои базы данных.
Поисковая выдача формируется из базы данных поисковика по всем проиндексированным сайтам в интернете. И присутствие сайта в выдаче уже совсем другой, отличный от индексации, вопрос...
Что такое присутствие сайта в поиске
Сайт присутствует в поиске, если на него можно добраться из результатов поисковой строки.
Другими словами, если вбить в строку поиска Яндекса или Гугла прямой адрес сайта, то в результатах поиска должна быть ссылка на сайт. Через добавление "site:" к адресу выведутся все страницы, которые присутствуют в поиске. Возможно, будет только главная.
Уточню, что присутствие в выдаче сайта не означает, что его могут найти по ключевым запросам обычные пользователи сети интернет. Только те, кто знает адрес сайта сможет его найти таким образов. Продвижение ключевых запросов это уже совсем другая тема и начинать её нужно с семантического ядра проекта...
Время между индексацией сайта поисковиком до появления его в выдаче может варьироваться от нескольких часов (очень редко бывает) до нескольких дней (обычно около десяти). Время появления в поисковой выдаче сайчас определяется популярностью сайта у пользователей. Создали сайт на который сразу будут заходить десятки и сотни пользователей - поисковики моментально отреагируют и вне очереди проиндексируют и в выдачу поисковую включат. Типичный новый сайт в Яндексе индексируется после регистрации в вебматере через 3 недели, а в поисковую выдачу попадает через 2 недели после индексации.
Проблемы с индексацией
Проверяем индексацию
У нас две основные системы поиска в России - Яндекс и Гугл. Можно ориентироваться по Яндексу - если он проиндексировал, то и остальные поисковики проделают это без проблем.
Для начала нужно проверить, а есть ли проблема или мы просто так думаем что "всё плохо".
Никакие сторонние инструменты гарантировано правдивую информацию нам не скажут, так как она есть только у самого поисковика и уже сервисы запрашивают у него.
Если "по быстрому" проверить. Сервис XTOOL (сбоку окошко есть) - вбиваете адрес сайта и смотрите результат в "индексация в Яндексе". Данные в сервис запаздывают на неделю где-то.
Проверяем капитально. Для этого регистрируем сайт в сервисах Яндекс. Метрика и Яндекс.Вебмастер. Из метрики понятно будет кто и как по сайту ходит, плюс она дополнительно передает информацию в вебмастер. Факт передачи информации важен хотя бы потому, что быстробот посылается поисковиком из учета "на страницу приходят читатели, а я про неё не знаю".
После регистрации в Яндекс.Вебмастер идем в параметры сайта и смотрим общую информацию по сайту. Если сайт не проиндексирован, то там будет соответствующая надпись и с пометкой о причине не индексации. Так же будут указаны ориентировочные сроки индексации, если нет ошибок.
Аналогичные действия можно провести в вебмастере Гугла и посмотреть результаты индексации сайта.
Исправляем проблемы индексации
Указываю причину и куда смотреть, чтобы её исправить.
Прежде чем начать искать причину сначала идем в Яндекс.Вебмастер, переходим в параметры сайта и в пункт "Проверить URL" вводим адрес нашего сайта. В двух вариантах с www и без. И смотрим что он нам ответит. Варианты ответа:
- Страница роботу не известна.
- Страница известна, но не проиндексирована.
- Ошибка доступа или страница закрыта от индексирования.
Если сайт новый, то после его регистрации в Яндекс.Вебмастер просто ждем 3 недели. И после этого начинаем суетиться, если нет индексации.
Важный момент. Если есть даже одна страница в индексе, то сайт индексируетса. Остальные страницы или отсеялись фильтрами поисковика или запрещены к индексации. Это не проблема индексации, тут на 99% проблема в качестве сайтов.
1. Запрет индексации.
- Проверяем настройки системы управления сайтом. Например, вордпрес по умолчанию ставит запрет сайта на индексацию. Проверяем галочки. Запрета быть не должно.
- Настройки индексации хранятся в файле robots.txt который находится в корне сайта. Подробно в справке Яндекса. В принципе можно удалить его содержимое и беды не будет.
- Все страницы закрыты тегом noindex. Актуально для Яндекса. Скорее всего ошибка при написании сайта. Где-нибудь в начале страницы тег открывается и не закрывается. Проверяем код страницы. Удаляем тег.
2. Ошибки перенаправления.
Робот работает согласно инструкциям сайта. При заходе на сайт он четко следует правилам редиректа, например 301 сообщение о переезде материала на новый адрес. Ошибка не распространены, так как и пользователи приходящие на сайт так же получают это перенаправление и, естественно, попадают на другие ресурсы. Ресурсы, с которых идет перенаправление не индексируются. Обычно настройки хранятся в файле .htaccess
Тут же проверяем сайт у нас с www или без. Сайт обычно склаивается и идет индексация только по одному адресу (с www или без). Возможно проверяете на индексацию один сайт, а индексируется другой. Смотрите в параметрах "настройки индексирования" - "главное зеркало".
3. Ошибки доступа.
Разновидность ошибок перенаправления. Это ошибки уровня доступа. Смотрите параметры папок и разрешение на чтение. Обычно ошибки и на уровне пользователей и на уровне роботов.
Еще раз призываю не путать индексацию сайта и ранжирование сайта в поисковой выдаче. Даже на авторитетных ресурсах эти понятия отождествляют.
Про отсутствие сайта в поисковой выдаче поговорим в следующий раз.
Продолжение и развитие читайте в статье как сообщить яндексу о новом сайте. В ней приведены работающие инструменты для ускорения индексации.
Принудительная отправка сайта в индекс
Нашел сервис, который за считанные минуты практически гарантированно вгоняет указанную страницу в индекс и выдачу Яндекса. В нашем случае нужно отправить в жерло Яндекса главную страницу и несколько свежих материалом. После чего наблюдать как поисковик будет реагировать.
Стоимость гарантированной индексации одной страницы 2 рубля. Время индеексации от 10 минут до 14 дней. Зависит от наличия фильтров к Вашему сайту со стороны Яндекса. Мой опыт говорит, что статьи в выдаче уже через 30 минут. Подробно описал в этой статье. В случае не попадания в индекс деньги будут возвращены (тариф с проверкой, как раз за 2 рубля).
К сожалению, данный сервис работает только с Яндексом.

10 действенных способов заставить Google индексировать ваш сайт

Если ваш сайт не индексируется Google, то он практически невидим. Он не будет попадать в результаты поиска и получать естественный трафик. Совсем. Вообще. Ничего.
Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.
Эта статья поможет вам решить три проблемы:
Ваш сайт вообще не индексируется.
Часть страниц сайта индексируется, а часть — нет.
Свежеопубликованные статьи индексируются недостаточно быстро.
Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».
Что такое краулинг и индексирование?
Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).
Запутались? Давайте дадим определения основным терминам.
Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
Поисковый робот — Программа, которая выполняет краулинг.
Googlebot — поисковый робот Google.
Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.
Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.
Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.
Нельзя победить в гонке, не зарегистрировавшись сперва.
Как узнать, есть ли ваш сайт в индексе Google
Откройте сайт Google и введите в поиск site:ваш_сайт.com
Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.
Если результатов не будет, значит, страницы нет в индексе.
Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:
Google Search Console > Индексирование > Покрытие
Посмотрите на число действительных страниц (с предупреждениями и без).
Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.
ПРИМЕЧАНИЕ. Вы не пользуетесь Google Search Console? Зарегистрируйтесь. Это бесплатно. Каждый владелец сайта, которого заботит поисковый трафик, должен использовать Google Search Console. Да, настолько это важно.
В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.
Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».
Если нет — то «URL нет в индексе Google».

Как сделать так, чтобы Google индексировал ваш сайт
Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

Откройте Google Search Console.
Перейдите в Инструмент проверки URL.
Вставьте в строку поиска URL-адрес, который вы хотите видеть в индексе Google.
Подождите, пока Google проверит адрес.
Нажмите кнопку «Запросить индексирование».
Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

Вот другие тактики:

Удалите блокирующие условия из файла robots.txt
Удалите шальные теги noindex
Добавьте адрес страницы в файл sitemap
Удалите шальные теги canonical
Проверьте, не является ли страница сиротой
Почините внутренние nofollow-ссылки
Добавьте «сильные» внутренние ссылки
Убедитесь, что страница уникальна и обладает ценностью
Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
Получите качественные обратные ссылки