Як оптимізувати краулінговий бюджет сайту

Краулінговий бюджет є важливим у контексті SEO оптимізації сайтів. Власникам і розробникам вебресурсів розуміння краулінгового бюджету дає можливість максимізувати індексацію важливих сторінок.

Що таке краулінговий бюджет

Краулінговий бюджет – обмежений ресурс, який пошукові системи відводять для індексації сторінок під час сканування їхніми ботами. Якщо багато оптимізованих сторінок сайту не будуть індексуватися, годі й говорити про ефективну розкрутку сайту. Водночас чим якісніший сайт, тим більше уваги йому приділяють роботи, тому необхідним є SEO просування.

Краулінговий бюджет розподіляється автоматично. Для кожного сайту обсяг різний, це може бути, наприклад, 100 сторінок на день. Для ефективної пошукової розкрутки сайту – великого інтернет-магазину – такого краулінгового бюджету буде недостатньо.

Краулінговий бюджет, розподілений правильно, є важливим складником успішної стратегії інтернет просування сайту, який впливає на покращення індексації, підвищення видимості та збільшення органічного трафіку. Неправильне управління краулінговим бюджетом призведе до того, що пошукові роботи витрачатимуть значну частину свого бюджету на індексацію неважливих або дубльованих сторінок замість того, щоб фокусуватися на ключовому контенті.

Як перевірити краулінговий бюджет сайту

Для цього виконайте такі дії:

1. Зайдіть у Search Console і виберіть ваш сайт.
2. У лівому меню внизу натисніть на «Налаштування».
3. У вікні, що зʼявиться, у блоці «Сканування» зі статистикою натисніть кнопку «Відкрити звіт».

Ви побачите, скільки було запитів на сканування, загальний розмір завантажень, середній час відповіді та динамічний графік за датами й показниками. Також статистика дозволяє дізнатися про розподіл запитів на сканування за відповіддю, типом файлу, метою й типом робота Googlebot. Існує чимало видів роботів, серед них:

• Smartphone – сканує сторінки для мобільних пристроїв.
• Desktop – аналізує сторінки, призначені для ПК і ноутбуків.
• Image – сканує дані для Google Картинок і продуктів, у яких вони використовуються.
• AdsBot – аналізує сторінки на відповідність правилам Google Ads.
• GoogleOther – використовується командами з роботи над різними продуктами для отримання загальнодоступного контенту з сайтів.

Аналіз та оптимізація краулінгового бюджету сайту

Дані про розподіл запитів на сканування дають цінну інформацію про те, як Googlebot сканує сайт. Ці результати можна використовувати для оптимізації краулінгового бюджету. Ось що означають пункти розподілення запитів на сканування:

• Файл отриманий (200). Запит на сканування був успішно виконаний, і Googlebot зміг отримати доступ до відповідного файлу чи сторінки.
• Переміщено назавжди (код статусу – 301). Свідчить, що сторінка була переміщена на новий URL. Щоб виправити, перевірте, чи коректно налаштовані перенаправлення 301 на нові сторінки й впевніться, що вони ведуть на правильні адреси.
• Не знайдено (404). Сервер не може знайти ресурс. Велика кількість таких помилок свідчить про те, що Googlebot витрачає час на сканування сторінок, яких не існує. Необхідно знайти й виправити всі помилки 404, щоб спрямувати Googlebot індексувати лише корисні сторінки.
• Тимчасово переміщено (302). Ресурс тимчасово доступний за іншим URI і на випадок повторних запитів необхідно використовувати старий URI.
• Неавторизований запит (401 або 407). Сервер не може обробити запит без аутентифікації. Потрібно додати до заголовків запиту поле Authorization або перевірити правильність даних у цьому полі, якщо воно вже присутнє.
• Інша помилка клієнта (4XX). Це може свідчити про різні помилки. Потрібно перевірити й виправити проблеми з клієнтськими запитами.
• Помилка сервера (5XX). Сторінка не була доступна через помилку на сервері. Потрібно перевірити й виправити проблеми.
• Помилка DNS. Вказує на проблеми з розпізнаванням доменного імені, тому потрібно перевірити й виправити налаштування DNS.
• Сторінка недоступна. Сторінка недоступна для Googlebot. Перевірте доступність сторінки й виправте помилки.
• Файл robots.txt недоступний. Вказує на те, що файл robots.txt недоступний для Googlebot. Перевірте налаштування файлу robots.txt й виправте проблеми доступу.
• Час очікування під час звернення до сторінки минув. Перевірте швидкість реакції вашого сервера й оптимізуйте її.

Додаткові поради для оптимізації

Оптимізація краулінгового бюджету передбачає низку дій, які здійснюються у разі розкрутки веб сайту:

1. Збільшення швидкості завантаження.
2. Налаштування перелінковки.
3. Покращення структури.
4. Закриття деяких сторінок від індексації (сторінки, які перебувають у процесі розробки, копії сайту, непотрібні документи тощо).
5. Оновлення контенту.

Висновки

Краулінговий бюджет є важливим аспектом оптимізації веб сайтів. Ефективне управління дозволяє оптимізувати процес індексації.

Цей матеріал підготували спеціалісти диджитал-агентства Ланет CLICK, яке, зокрема, пропонує послуги SEO оптимізації сайту.