Чтобы поисковые системы могли оценить ваш сайт и показать его другим людям, они должны сами узнать о его существовании. Для этого у каждой поисковой системы есть специальный бот, бродящий по всем сайтам интернета и документирующий всё, что видит. Бот запоминает содержимое страниц, проверяет ссылки и вносит всё это в базу своей поисковой системы. Этот процесс и называется индексацией, а база — индексом.
Проверка индексации
Проверить, попал ли ваш сайт в индекс, и узнать количество страниц в индексе поисковой системы можно с помощью соответствующих операторов (для Google — это оператор «site», а для Яндекса — «host», хотя «site» тоже можно использовать, но он ищет и на поддоменах). Для этого заходим в Гугл и пишем в поисковую строку «site:oblomow.ru». Он покажет все страницы, находящиеся в индексе и даже подскажет их число. Аналогично можно зайти в Яндекс и написать «host:oblomow.ru» или «site:oblomow.ru».
Более того, если написать через пробел какое-нибудь слово, то поиск будет искать это слово на указанном вами сайте. Например, чтобы найти эту страницу в поиске я могу написать в любой из них «site:oblomow.ru индексация».
При желании, вы также можете погуглить другие «операторы поисковых систем».
Ускорение индексации
Обычно индексация сайтов проходит двумя способами:
- Карта сайта (sitemap.xml). Если добавить в Яндекс Вебмастер и Гугл Консоль корректную карту сайта, то бот будет автоматически время от времени индексировать и переиндексировать все находящиеся там страницы;
- Ссылки с других страниц. Также в процессе индексации страницы бот переходит по всем ссылкам, поэтому любая ссылка в свободном доступе (как с вашего сайта, так и с других, включая социальные сети) может привести к индексации страницы.
Тем не менее, смиренному ожиданию есть альтернатива, которой является функционал Яндекс Вебмастера и Гугл Консоли, где можно принудительно отправить ту или иную страницу на индексацию или переиндексацию.
Переобход
Пройдя по сайту и записав всё необходимое, бот покидает сайт и отправляется сёрфить интернет дальше. Рано или поздно он, конечно, вернётся, но в панели веб-мастера можно попросить бота заглянуть на изменившиеся страницы пораньше.
Переобход страниц в Яндекс Вебмастере
Яндекс Вебмастер -> Индексирование -> Переобход страниц. Там нужно будет вписать URL в соответствующее поле и нажать кнопку «Отправить».
Переобход страниц в Гугл Консоли
Гугл Консоль -> Проверка URL. После введения URL откроется окно с дополнительной информацией и кнопкой «Запросить индексирование».
Запрет индексации
Для запрета индексации сайта или отдельных его страниц существует специальный файл — robots.txt. Также это можно осуществить с помощью одноимённого мета тэга Robots.
Для чего закрывать сайт от индексации? Обычно это делают на этапе разработки, чтобы сайт не получил пессимизацию, которую потом, возможно, будет не так просто снять.
Вывод
Теперь вы знаете как показать свой сайт поисковым системам, которые, в свою очередь, когда-нибудь покажут его другим людям. По результатам этой статьи вы решаете готов ли ваш сайт и, исходя из этого решения, либо ускоряете его индексацию, либо запрещаете её. Предположу, что вы хотите её ускорить и последуете зарегистрируетесь в Яндекс Вебмастере и Гугл Консоли. В следующей статье я расскажу вам про алгоритмы ранжирования и объясню как выбирается «ТОП» из всех проиндексированных страниц.
