گوگل برای خزیدن در هر سایت، منابع محدودی صرف می‌کند. به این مقدار بودجه خزش (Crawl Budget) می‌گویند. برای یک سایت ۵۰ صفحه‌ای، بودجه خزش تقریباً هیچ‌وقت مشکل نیست؛ اما برای فروشگاه‌های بزرگ با هزاران محصول و فیلتر، اگر گوگل وقتش را صرف آدرس‌های بی‌ارزش کند، صفحات مهم دیر ایندکس یا دیر به‌روز می‌شوند.
بودجه خزش از چه چیزی تشکیل میشود؟
گوگل بودجه خزش را ترکیبی از دو عامل می‌داند:
- ظرفیت خزش (Crawl Capacity): اینکه سرور شما بدون کند شدن چقدر درخواست را تحمل می‌کند. سرور سریع و پایدار یعنی گوگل با خیال راحت بیشتر می‌خزد.
- تقاضای خزش (Crawl Demand): اینکه گوگل چقدر به محتوای شما علاقه دارد؛ صفحات محبوب و پربازدید و محتوایی که مرتب به‌روز میشود، بیشتر خزیده می‌شوند.
چه سایت‌هایی باید نگران بودجه خزش باشند؟
- فروشگاه‌های اینترنتی با هزاران محصول و فیلترهای ترکیبی
- سایت‌های خبری و آگهی با حجم بالای محتوای جدید
- سایت‌هایی که با پارامترهای URL، آدرس‌های تقریباً بی‌نهایت تولید می‌کنند
- سایت‌هایی که در گزارش Pages تعداد زیادی «Discovered – currently not indexed» دارند
عوامل هدر دادن بودجه خزش
- فیلترها و پارامترهای بی‌پایان: ترکیب رنگ، سایز، قیمت و مرتب‌سازی میتواند میلیون‌ها آدرس بسازد.
- محتوای تکراری: نسخه‌های مختلف یک صفحه بدون کانونیکال درست.
- زنجیره ریدایرکت: هر پرش اضافه یعنی یک درخواست اضافه.
- صفحات ۴۰۴ و Soft 404: لینک‌های داخلی به صفحات حذف‌شده.
- سرور کند: وقتی پاسخ سرور کند است، گوگل سرعت خزش را کم می‌کند.
- صفحات کم‌ارزش و زیاد: برچسب‌های خالی، صفحات آرشیو بی‌محتوا و صفحات جستجوی داخلی.
روش‌های بهینهسازی بودجه خزش
- مسیرهای بی‌ارزش را در robots.txt مسدود کنید.
- نقشه سایت را تمیز نگه دارید و فقط صفحات ارزشمند را در آن بگذارید.
- لینک‌های داخلی را مستقیم به آدرس نهایی بدهید، نه به آدرس ریدایرکت‌شده.
- صفحات ضعیف و تکراری را ادغام، بهبود یا حذف کنید.
- سرعت سرور و زمان پاسخ (TTFB) را بهبود دهید.
- با لینک‌سازی داخلی اهمیت صفحات کلیدی را به گوگل نشان دهید.
چطور وضعیت خزش را بررسی کنیم؟
در Search Console به بخش Settings و سپس Crawl stats بروید. این گزارش تعداد درخواست‌ها، میانگین زمان پاسخ سرور و نوع فایل‌های خزیده‌شده را نشان می‌دهد. اگر بخش زیادی از درخواست‌ها صرف آدرس‌های پارامتردار یا ریدایرکت میشود، همان‌جا نقطه اصلاح است. برای تحلیل دقیق‌تر، بررسی لاگ‌های سرور بهترین منبع است.
جمع‌بندی
بهینهسازی بودجه خزش یعنی به گوگل کمک کنید وقتش را روی صفحاتی بگذارد که برای کسب‌وکار شما ارزش دارند. در سایت‌های بزرگ این کار میتواند سرعت ایندکس محصولات جدید را چند برابر کند. برای بررسی وضعیت خزش سایت‌تان، به صفحه خدمات سئو سر بزنید.