# فایل robots.txt چیست و چگونه آن را تنظیم کنیم؟

robots.txt زمانی ارزشمند است که به یک تصمیم قابل اجرا منتهی شود. یک دستور اشتباه در robots.txt می‌تواند Crawl منابع یا مسیرهای مهم را محدود کند در این راهنما موضوع را مرحله‌به‌مرحله بررسی می‌کنیم، تفاوت داده قطعی و فرضیه را روشن نگه می‌داریم و هیچ رتبه، ترافیک یا نتیجه‌ای را تضمین نمی‌کنیم.

robots.txt دقیقاً چه مسئله‌ای را حل می‌کند؟

هدف اصلی از robots.txt ساختن تصویری قابل اعتماد از وضعیت فعلی و مشخص‌کردن اقدام بعدی است. نتیجه باید به URL، پاسخ سرور، HTML قابل مشاهده یا داده یک ابزار معتبر متکی باشد. اگر داده کافی در دسترس نیست، عبارت «داده موجود نیست» دقیق‌تر از تخمین‌زدن عدد است.

برای شروع، هدف صفحه و نوع مخاطب را بنویسید. سپس منبع داده، بازه بررسی و محدودیت ابزار را ثبت کنید. این سه مورد کمک می‌کنند گزارش بعدی با گزارش قبلی قابل مقایسه باشد و تغییرات ناشی از جابه‌جایی Scope با بهبود واقعی اشتباه نشود.

مراحل اجرای robots.txt

1. یافتن مسیر فایل

در مرحله «یافتن مسیر فایل» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

2. تعریف User-agent

در مرحله «تعریف User-agent» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

3. نوشتن Disallow دقیق

در مرحله «نوشتن Disallow دقیق» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

4. معرفی Sitemap

در مرحله «معرفی Sitemap» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

5. تست با ابزار گوگل

در مرحله «تست با ابزار گوگل» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

6. پایش تغییرات

در مرحله «پایش تغییرات» ابتدا Evidence لازم را جمع‌آوری کنید و بعد درباره اصلاح تصمیم بگیرید. بررسی را روی URL عمومی و نسخه Canonical انجام دهید، Status و زمان ثبت داده را بنویسید و مشخص کنید نتیجه به یک صفحه محدود است یا در Templateهای دیگر نیز تکرار می‌شود. اقدام پیشنهادی باید مسئول، اولویت و معیار پذیرش داشته باشد.

اشتباهات رایج

اجرای سریع بدون ثبت وضعیت اولیه باعث می‌شود اثر اصلاح قابل سنجش نباشد. سه خطای رایج در این موضوع عبارت‌اند از:

  • Disallow کل سایت؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.
  • استفاده برای حذف از Index؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.
  • مسدودکردن فایل ضروری؛ پیش از اقدام، اثر آن را روی کاربر، Crawl و هدف تجاری صفحه بررسی کنید.

چگونه نتیجه را اندازه‌گیری کنیم؟

برای ارزیابی robots.txt از یک عدد منفرد استفاده نکنید. معیارها را در بازه ثابت و برای URL یا Property یکسان مقایسه کنید:

  • Robots Fetch؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.
  • Blocked Resources؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.
  • Crawl Requests؛ منبع، بازه و آخرین زمان بروزرسانی آن باید کنار عدد ثبت شود.

چک‌لیست نهایی

  • [ ] یافتن مسیر فایل
  • [ ] تعریف User-agent
  • [ ] نوشتن Disallow دقیق
  • [ ] معرفی Sitemap
  • [ ] تست با ابزار گوگل
  • [ ] پایش تغییرات
  • [ ] نتیجه روی موبایل و دسکتاپ بررسی شده است.
  • [ ] داده‌های خصوصی، Token و Password در گزارش قرار نگرفته‌اند.
  • [ ] بعد از اصلاح، همان تست با Scope یکسان دوباره اجرا شده است.

جمع‌بندی

برای استفاده حرفه‌ای از robots.txt، از مسئله و منبع داده شروع کنید، نه از امتیاز نهایی. ابتدا خطاهای مسدودکننده و گسترده را اصلاح کنید، سپس به بهبودهای محتوایی و تجربه کاربر برسید. نتیجه خوب گزارشی است که نشان دهد چه چیزی، چرا، توسط چه کسی و با کدام معیار باید اصلاح شود.