Как оптимизировать краулинговый бюджет сайта

Краулинговый бюджет важен в контексте SEO оптимизации сайтов. Владельцам и разработчикам веб-ресурсов понимание краулингового бюджета позволяет максимизировать индексацию важных страниц.

Что такое краулинговый бюджет

Краулинговый бюджет – ограниченный ресурс, который поисковые системы отводят для индексации страниц при сканировании их ботами. Если многие оптимизированные страницы сайта не будут индексироваться, нечего и говорить об эффективной раскрутке сайта. В то же время чем качественнее сайт, тем больше внимания ему уделяют работы, поэтому необходимо заниматься SEO продвижением.

Краулинговый бюджет распределяется автоматически. Для каждого сайта объем разный, он может быть равен, например, 100 страницам в день. Для эффективной поисковой раскрутки сайта – крупного интернет-магазина – такого краулингового бюджета будет недостаточно.

Краулинговый бюджет, распределенный правильно, является важной составляющей успешной стратегии интернет продвижения сайта и влияет на улучшение индексации, повышение видимости и увеличение органического трафика. Неправильное управление краулинговым бюджетом приведет к тому, что поисковые работы будут тратить значительную часть своего бюджета на индексацию неважных или дублированных страниц вместо фокусирования на ключевом контенте.

Как проверить краулинговый бюджет сайта

Для этого выполните следующие действия:

1. Зайдите в Search Console и выберите свой сайт.
2. В левом меню внизу кликните на «Настройки».
3. В появившемся окне в блоке «Сканирование» со статистикой нажмите кнопку «Открыть отчет».

Вы увидите, сколько было запросов на сканирование, общий размер загрузок, среднее время ответа и динамический график по датам и показателям. Также статистика позволяет узнать о распределении запросов на сканирование по ответу, типу файла, цели и типу работа Googlebot. Существует множество видов роботов, среди них:

• Smartphone – сканирует страницы для мобильных устройств.
• Desktop – анализирует страницы, предназначенные для ПК и ноутбуков.
• Image – сканирует данные для Google Картинок и продуктов, в которых они используются.
• AdsBot – анализирует страницы на соответствие правилам Google Ads.
• GoogleOther – используется командами по работе над различными продуктами для получения общедоступного контента с сайтов.

Анализ и оптимизация краулингового бюджета сайта

Данные о распределении запросов на сканирование дают ценную информацию о том, как Googlebot сканирует сайт. Эти результаты могут быть использованы для оптимизации краулингового бюджета. Вот что означают пункты распределения запросов на сканирование:

• Файл получен (200). Запрос на сканирование был успешно выполнен, и Googlebot смог получить доступ к соответствующему файлу или странице.
• Перемещено навсегда (код статуса – 301). Страница была перемещена на новый URL. Чтобы исправить, проверьте, правильно ли настроены перенаправления 301 на новые страницы и убедитесь, что они ведут на правильные адреса.
• Не найдено (404). Сервер не может найти ресурс. Большое количество таких ошибок свидетельствует о том, что Googlebot тратит время на сканирование несуществующих страниц. Необходимо найти и исправить все ошибки 404, чтобы направить Googlebot индексировать только полезные страницы.
• Временно перемещено (302). Ресурс временно доступен по другому URI и в случае повторных запросов необходимо использовать старый URI.
• Неавторизованный запрос (401 или 407). Сервер не может обработать запрос без аутентификации. Необходимо добавить в заголовки запроса поле Authorization или проверить правильность данных в этом поле, если оно уже присутствует.
• Другая ошибка клиента (4XX). Это может означать разные ошибки. Следует проверить и исправить проблемы с клиентскими запросами.
• Ошибка сервера (5XX). Страница не была доступна из-за ошибки на сервере. Необходимо проверить и устранить проблемы с сервером.
• Ошибка DNS. Указывает на проблемы с распознаванием доменного имени, поэтому необходимо проверить и исправить настройки DNS.
• Страница недоступна. Страница недоступна для Googlebot. Проверьте доступность страницы и устраните ошибки.
• Файл robots.txt недоступен. Указывает, что файл robots.txt недоступен для Googlebot. Проверьте настройки файла robots.txt и устраните проблемы доступа.
• Время ожидания при обращении к странице истекло. Проверьте скорость реакции сервера и оптимизируйте ее.

Дополнительные советы по оптимизации

Оптимизация краулингового бюджета предусматривает ряд действий, которые выполняются при раскрутке веб сайта:

1. Увеличение скорости загрузки.
2. Настройка перелинковки.
3. Улучшение структуры.
4. Закрытие некоторых страниц от индексации (страницы сайта, находящиеся в процессе разработки, копии сайта, ненужные документы и т.п.).
5. Обновление контента.

Выводы

Краулинговый бюджет является важным аспектом оптимизации веб сайтов. Эффективное управление позволяет оптимизировать процесс индексации. 

Этот материал подготовили специалисты диджитал-агентства Ланет CLICK, которое, в частности, предлагает услуги SEO оптимизации сайта.