logo Oblomow.ru

Индексация сайта

Люди могут узнать о вашем сайте множеством способов, но, так как мы говорим о SEO, то предположим, что трафик должен идти из поисковых систем.

Говоря про поисковые системы я имею в виду Yandex и Google, ибо именно они являются основными ПС в России.
Согласно статистике за 2017 и начало 2018 года ими пользуются около 95% пользователей рунета.
Остальные 5-6% делят между собой менее популярные поисковики.

Также, в этой статье мы рассмотрим такое понятие как «индексация».

Если коротко, то у каждой поисковой системы есть специальный бот, бродящий по всем сайтам интернета и документирующий всё, что видит.
Бот запоминает содержимое страниц, проверяет куда ведут ссылки с них и вносит всё это в базу своей поисковой системы.
Этот процесс называется индексацией, а база — индексом.

Попадание в индекс совсем не гарантирует, что ваш сайт занял хоть какое-то место в поисковой выдаче, однако, именно с этого шага всё начинается.

Проверка индексации

Проверить попал ли ваш сайт в индекс и узнать количество страниц в индексе поисковой системы достаточно просто.

Во-первых, это можно сделать с помощью множества сервисов в сети интернет, найти которые можно по фразе «Проверка индексации сайта».
Во-вторых, это можно сделать самостоятельно с помощью соответствующих операторов.
Для Google — это оператор «site», а для Яндекса — «host».

Пример использования:
Заходим в Гугл и пишем в поисковую строку «site:oblomow.ru». Он покажет все страницы, находящиеся в индексе и даже подскажет их число.
Аналогично можно зайти в Яндекс и написать «host:oblomow.ru».
При желании, вы также можете погуглить другие «операторы поисковых систем» ради интереса.

Ускорение индексации

Итак. Если где-либо в открытом доступе есть ссылка на ваш сайт, то бот когда-нибудь его посетит и внесёт в индекс. Это может быть очень долгий процесс и смиренному ожиданию есть альтернатива.

Этой альтернативой является возможность попросить поисковых ботов обратить внимание на ваш сайт.
Для этого необходимо открыть панель вебмастера нужной поисковой системы и добавить туда свой сайт. Несмотря на то, что основных поисковых системы всего две, я всё же рекомендую вам добавить свой сайт в каждую из ниже перечисленных ПС:

Обратите внимание, что кроме регистрации необходимо проделать определённые действия, которые зависят от сервиса.

В идеале, чтобы индексация сайта была максимально полной, через панель вебмастера нужно указать ссылку на корректную XML карту сайта.

Теоретически, для ускорения индексации, можно разместить в сети пару ссылок на ваш сайт или даже купить рекламу. Поисковые системы обязательно обратят внимание на упоминание вашего сайта, но за неосторожное обращение с ссылками можно выхватить фильтр и вообще выпасть из поисковой выдачи.

Поэтому рекомендую добавить сайт в индекс с помощью сервисов «вебмастер» и, если очень хочется, сделать ссылку на него со своей странице в любой соц-сети.

Переобход

Пройдя по сайту и записав всё необходимое, бот покидает сайт и отправляется сёрфить интернет дальше.
Рано или поздно он, конечно, вернётся, но в панели веб-мастера можно попросить бота заглянуть на изменившиеся страницы пораньше.

Этот процесс можно автоматизировать, если добавить на сайт уже упомянутую выше XML карту и указать путь к ней в Вебмастере поисковика. Это поможет боту видеть добавление новых страниц на сайт и изменения на существующих, что, теоретически, должно ускорить его повторное посещение сайта.

Запрет индексации

Для запрета индексации сайта или отдельных его страниц существует специальный файл — robots.txt.
Он лежит в корне сайта. Правки вносятся в соответствием с инструкцией.

Для чего закрывать сайт от индексации? Обычно это делают на этапе разработки, чтобы сайт не получил пессимизацию, которую потом, возможно, будет не так просто снять.

Закрывая индексацию не забудьте об этом, так как иначе ваш сайт не будет продвигаться в поисковой выдаче, а это полная противоположность SEO.

Вывод

Теперь вы знаете как показать свой сайт поисковым системам, которые, в свою очередь, когда-нибудь покажут его другим людям.

По результатам этой статьи вы решаете готов ли ваш сайт и, исходя из этого решения, либо ускоряете его индексацию, либо запрещаете её.

Предположу, что вы хотите её ускорить и последуете моей рекомендации по созданию кабинетов «вебмастера» у выбранных поисковых систем.

В следующей статье я расскажу вам про алгоритмы ранжирования и объясню как выбирается «ТОП» из всех проиндексированных страниц.