# Crawl Budget چیست و چگونه مدیریت می‌شود؟

Crawl Budget زمانی ارزشمند است که به یک تصمیم قابل اجرا منتهی شود. در سایت‌های بزرگ، URLهای کم‌ارزش و پارامتری می‌توانند منابع Crawl را از صفحات مهم دور کنند در این راهنما موضوع را مرحله‌به‌مرحله بررسی می‌کنیم، تفاوت داده قطعی و فرضیه را روشن نگه می‌داریم و هیچ رتبه، ترافیک یا نتیجه‌ای را تضمین نمی‌کنیم.

Crawl Budget دقیقاً چه مسئله‌ای را حل می‌کند؟

هدف اصلی از Crawl Budget ساختن تصویری قابل اعتماد از وضعیت فعلی و مشخص‌کردن اقدام بعدی است. نتیجه باید به URL، پاسخ سرور، HTML قابل مشاهده یا داده یک ابزار معتبر متکی باشد. اگر داده کافی در دسترس نیست، عبارت «داده موجود نیست» دقیق‌تر از تخمین‌زدن عدد است.

برای شروع، هدف صفحه و نوع مخاطب را بنویسید. سپس منبع داده، بازه بررسی و محدودیت ابزار را ثبت کنید. این سه مورد کمک می‌کنند گزارش بعدی با گزارش قبلی قابل مقایسه باشد و تغییرات ناشی از جابه‌جایی Scope با بهبود واقعی اشتباه نشود.

مراحل اجرای Crawl Budget

1. تحلیل Crawl Stats

در مرحله «تحلیل Crawl Stats» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

2. کاهش URL پارامتری

در مرحله «کاهش URL پارامتری» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

3. رفع 5xx

در مرحله «رفع 5xx» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

4. بهبود پاسخ سرور

در مرحله «بهبود پاسخ سرور» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

5. مدیریت Facet

در مرحله «مدیریت Facet» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

6. تقویت Internal Link

در مرحله «تقویت Internal Link» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

اشتباهات رایج

اجرای سریع بدون ثبت وضعیت اولیه باعث می‌شود اثر اصلاح قابل سنجش نباشد. سه خطای رایج در این موضوع عبارت‌اند از:

  • مسدودکردن بدون تحلیل؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.
  • تولید بی‌نهایت URL؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.
  • Redirect Chain؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.

چگونه نتیجه را اندازه‌گیری کنیم؟

برای ارزیابی Crawl Budget از یک عدد منفرد استفاده نکنید. معیارها را در بازه ثابت و برای URL یا Property یکسان مقایسه کنید:

  • Crawl Requests؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.
  • Host Status؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.
  • Response Time؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.

چک‌لیست نهایی

  • [ ] تحلیل Crawl Stats
  • [ ] کاهش URL پارامتری
  • [ ] رفع 5xx
  • [ ] بهبود پاسخ سرور
  • [ ] مدیریت Facet
  • [ ] تقویت Internal Link
  • [ ] نتیجه روی موبایل و دسکتاپ بررسی شده است.
  • [ ] داده‌های خصوصی، Token و Password در گزارش قرار نگرفته‌اند.
  • [ ] بعد از اصلاح، همان تست با Scope یکسان دوباره اجرا شده است.

جمع‌بندی

برای استفاده حرفه‌ای از Crawl Budget، از مسئله و منبع داده شروع کنید، نه از امتیاز نهایی. ابتدا خطاهای مسدودکننده و گسترده را اصلاح کنید، سپس به بهبودهای محتوایی و تجربه کاربر برسید. نتیجه خوب گزارشی است که نشان دهد چه چیزی، چرا، توسط چه کسی و با کدام معیار باید اصلاح شود.