Почему сайт не индексируется Google?

Почему гугл не индексирует сайт?

Если ваш сайт создан недавно, возможно, робот Google ещё не успел обработать и проиндексировать его. ... Если вы видите сообщение о том, что ваш сайт не был добавлен в индекс, возможно, это связано с тем, что он находится в другом домене. Например, получив сообщение о том, что сайт http://example.com не проиндексирован, убедитесь, что вы также добавили в свой аккаунт адрес http://www.example.com (или наоборот), и проверьте данные по нему.

Что делать если сайт не индексируется

Начнем с того, что индексация сайта и наличие его в поиске совсем разные вещи...
Что такое индексация сайта
Индексация сайта - обработка страниц сайта поисковым роботом для включения возможности находить данные через поиск.
Индексация гарантирует получение данных с сайта поисковиком, но не гарантирует присутствие их в поиске. Сайт считается приндексированным, если:
1. Поисковик знает о его существовании.
2. Поисковый робот прошел по страницам сайта, прочел их содержимое и занес его в свои базы данных.
Поисковая выдача формируется из базы данных поисковика по всем проиндексированным сайтам в интернете. И присутствие сайта в выдаче уже совсем другой, отличный от индексации, вопрос...
Что такое присутствие сайта в поиске
Сайт присутствует в поиске, если на него можно добраться из результатов поисковой строки.
Другими словами, если вбить в строку поиска Яндекса или Гугла прямой адрес сайта, то в результатах поиска должна быть ссылка на сайт. Через добавление "site:" к адресу выведутся все страницы, которые присутствуют в поиске. Возможно, будет только главная.
Уточню, что присутствие в выдаче сайта не означает, что его могут найти по ключевым запросам обычные пользователи сети интернет. Только те, кто знает адрес сайта сможет его найти таким образов. Продвижение ключевых запросов это уже совсем другая тема и начинать её нужно с семантического ядра проекта...
Время между индексацией сайта поисковиком до появления его в выдаче может варьироваться от нескольких часов (очень редко бывает) до нескольких дней (обычно около десяти). Время появления в поисковой выдаче сайчас определяется популярностью сайта у пользователей. Создали сайт на который сразу будут заходить десятки и сотни пользователей - поисковики моментально отреагируют и вне очереди проиндексируют и в выдачу поисковую включат. Типичный новый сайт в Яндексе индексируется после регистрации в вебматере через 3 недели, а в поисковую выдачу попадает через 2 недели после индексации.
Проблемы с индексацией
Проверяем индексацию
У нас две основные системы поиска в России - Яндекс и Гугл. Можно ориентироваться по Яндексу - если он проиндексировал, то и остальные поисковики проделают это без проблем.
Для начала нужно проверить, а есть ли проблема или мы просто так думаем что "всё плохо".
Никакие сторонние инструменты гарантировано правдивую информацию нам не скажут, так как она есть только у самого поисковика и уже сервисы запрашивают у него.
Если "по быстрому" проверить. Сервис XTOOL (сбоку окошко есть) - вбиваете адрес сайта и смотрите результат в "индексация в Яндексе". Данные в сервис запаздывают на неделю где-то.
Проверяем капитально. Для этого регистрируем сайт в сервисах Яндекс. Метрика и Яндекс.Вебмастер. Из метрики понятно будет кто и как по сайту ходит, плюс она дополнительно передает информацию в вебмастер. Факт передачи информации важен хотя бы потому, что быстробот посылается поисковиком из учета "на страницу приходят читатели, а я про неё не знаю".
После регистрации в Яндекс.Вебмастер идем в параметры сайта и смотрим общую информацию по сайту. Если сайт не проиндексирован, то там будет соответствующая надпись и с пометкой о причине не индексации. Так же будут указаны ориентировочные сроки индексации, если нет ошибок.
Аналогичные действия можно провести в вебмастере Гугла и посмотреть результаты индексации сайта.
Исправляем проблемы индексации
Указываю причину и куда смотреть, чтобы её исправить.
Прежде чем начать искать причину сначала идем в Яндекс.Вебмастер, переходим в параметры сайта и в пункт "Проверить URL" вводим адрес нашего сайта. В двух вариантах с www и без. И смотрим что он нам ответит. Варианты ответа:
- Страница роботу не известна.
- Страница известна, но не проиндексирована.
- Ошибка доступа или страница закрыта от индексирования.
Если сайт новый, то после его регистрации в Яндекс.Вебмастер просто ждем 3 недели. И после этого начинаем суетиться, если нет индексации.
Важный момент. Если есть даже одна страница в индексе, то сайт индексируетса. Остальные страницы или отсеялись фильтрами поисковика или запрещены к индексации. Это не проблема индексации, тут на 99% проблема в качестве сайтов.
1. Запрет индексации.
- Проверяем настройки системы управления сайтом. Например, вордпрес по умолчанию ставит запрет сайта на индексацию. Проверяем галочки. Запрета быть не должно.
- Настройки индексации хранятся в файле robots.txt который находится в корне сайта. Подробно в справке Яндекса. В принципе можно удалить его содержимое и беды не будет.
- Все страницы закрыты тегом noindex. Актуально для Яндекса. Скорее всего ошибка при написании сайта. Где-нибудь в начале страницы тег открывается и не закрывается. Проверяем код страницы. Удаляем тег.
2. Ошибки перенаправления.
Робот работает согласно инструкциям сайта. При заходе на сайт он четко следует правилам редиректа, например 301 сообщение о переезде материала на новый адрес. Ошибка не распространены, так как и пользователи приходящие на сайт так же получают это перенаправление и, естественно, попадают на другие ресурсы. Ресурсы, с которых идет перенаправление не индексируются. Обычно настройки хранятся в файле .htaccess
Тут же проверяем сайт у нас с www или без. Сайт обычно склаивается и идет индексация только по одному адресу (с www или без). Возможно проверяете на индексацию один сайт, а индексируется другой. Смотрите в параметрах "настройки индексирования" - "главное зеркало".
3. Ошибки доступа.
Разновидность ошибок перенаправления. Это ошибки уровня доступа. Смотрите параметры папок и разрешение на чтение. Обычно ошибки и на уровне пользователей и на уровне роботов.
Еще раз призываю не путать индексацию сайта и ранжирование сайта в поисковой выдаче. Даже на авторитетных ресурсах эти понятия отождествляют.
Про отсутствие сайта в поисковой выдаче поговорим в следующий раз.
Продолжение и развитие читайте в статье как сообщить яндексу о новом сайте. В ней приведены работающие инструменты для ускорения индексации.
Принудительная отправка сайта в индекс
Нашел сервис, который за считанные минуты практически гарантированно вгоняет указанную страницу в индекс и выдачу Яндекса. В нашем случае нужно отправить в жерло Яндекса главную страницу и несколько свежих материалом. После чего наблюдать как поисковик будет реагировать.
Стоимость гарантированной индексации одной страницы 2 рубля. Время индеексации от 10 минут до 14 дней. Зависит от наличия фильтров к Вашему сайту со стороны Яндекса. Мой опыт говорит, что статьи в выдаче уже через 30 минут. Подробно описал в этой статье. В случае не попадания в индекс деньги будут возвращены (тариф с проверкой, как раз за 2 рубля).
К сожалению, данный сервис работает только с Яндексом.

10 действенных способов заставить Google индексировать ваш сайт

Если ваш сайт не индексируется Google, то он практически невидим. Он не будет попадать в результаты поиска и получать естественный трафик. Совсем. Вообще. Ничего.
Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.
Эта статья поможет вам решить три проблемы:
Ваш сайт вообще не индексируется.
Часть страниц сайта индексируется, а часть — нет.
Свежеопубликованные статьи индексируются недостаточно быстро.
Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».
Что такое краулинг и индексирование?
Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).
Запутались? Давайте дадим определения основным терминам.
Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
Поисковый робот — Программа, которая выполняет краулинг.
Googlebot — поисковый робот Google.
Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.
Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.
Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.
Нельзя победить в гонке, не зарегистрировавшись сперва.
Как узнать, есть ли ваш сайт в индексе Google
Откройте сайт Google и введите в поиск site:ваш_сайт.com
Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.
Если результатов не будет, значит, страницы нет в индексе.
Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:
Google Search Console > Индексирование > Покрытие
Посмотрите на число действительных страниц (с предупреждениями и без).
Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.
ПРИМЕЧАНИЕ. Вы не пользуетесь Google Search Console? Зарегистрируйтесь. Это бесплатно. Каждый владелец сайта, которого заботит поисковый трафик, должен использовать Google Search Console. Да, настолько это важно.
В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.
Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».
Если нет — то «URL нет в индексе Google».

Как сделать так, чтобы Google индексировал ваш сайт
Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

Откройте Google Search Console.
Перейдите в Инструмент проверки URL.
Вставьте в строку поиска URL-адрес, который вы хотите видеть в индексе Google.
Подождите, пока Google проверит адрес.
Нажмите кнопку «Запросить индексирование».
Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

Вот другие тактики:

Удалите блокирующие условия из файла robots.txt
Удалите шальные теги noindex
Добавьте адрес страницы в файл sitemap
Удалите шальные теги canonical
Проверьте, не является ли страница сиротой
Почините внутренние nofollow-ссылки
Добавьте «сильные» внутренние ссылки
Убедитесь, что страница уникальна и обладает ценностью
Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
Получите качественные обратные ссылки