فایل robots.txt اولین فایلی است که ربات‌های موتور جستجو هنگام ورود به سایت شما می‌خوانند. این فایل ساده متنی به ربات‌ها می‌گوید کجا می‌توانند بروند و کجا نه. اما یک نکته مهم وجود دارد که بسیاری از مدیران سایت نمی‌دانند: robots.txt جلوی خزش را میگیرد، نه لزوماً جلوی ایندکس شدن را.
robots.txt چیست و کجا قرار میگیرد؟
این فایل همیشه در ریشه دامنه قرار دارد؛ مثلاً https://example.com/robots.txt. ساختار آن از چند دستور ساده تشکیل شده است:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml- User-agent: مشخص می‌کند دستور برای کدام ربات است (ستاره یعنی همه).
- Disallow: مسیری که ربات نباید بخزد.
- Allow: استثنا در یک مسیر مسدود.
- Sitemap: آدرس نقشه سایت.
تفاوت مهم: Disallow در برابر noindex
اگر صفحه‌ای را در robots.txt مسدود کنید ولی سایت‌های دیگر به آن لینک داده باشند، گوگل ممکن است آدرس آن را بدون محتوا ایندکس کند و در نتایج با پیام «اطلاعاتی برای این صفحه در دسترس نیست» نشان دهد. برای اینکه صفحه‌ای واقعاً از نتایج حذف شود:
- به صفحه تگ
<meta name="robots" content="noindex">یا هدرX-Robots-Tag: noindexاضافه کنید. - اجازه خزش را باز بگذارید تا گوگل بتواند تگ noindex را ببیند.
- بعد از حذف از ایندکس، در صورت نیاز آن را در robots.txt مسدود کنید.
چه صفحاتی را معمولاً مسدود می‌کنیم؟
- پنل مدیریت و صفحات ورود
- سبد خرید، تسویه حساب و حساب کاربری
- نتایج جستجوی داخلی سایت
- پارامترهای فیلتر و مرتب‌سازی که هزاران آدرس بی‌ارزش می‌سازند
- محیط‌های تست و استیجینگ (که بهتر است با رمز عبور هم محافظت شوند)
هدف اصلی، صرفه‌جویی در بودجه خزش است تا گوگل وقتش را روی صفحات ارزشمند بگذارد.
اشتباهات خطرناک در robots.txt
Disallow: /که کل سایت را مسدود می‌کند؛ معمولاً از دوران طراحی سایت جا می‌ماند.- مسدود کردن CSS و JS: گوگل برای درک ظاهر صفحه به این فایل‌ها نیاز دارد.
- استفاده از robots.txt برای مخفی کردن اطلاعات حساس: این فایل عمومی است و همه می‌توانند آن را ببینند.
- حساسیت به حروف کوچک و بزرگ:
/Admin/با/admin/متفاوت است.
چطور robots.txt را تست کنیم؟
در Search Console گزارش robots.txt (در بخش تنظیمات) نشان میدهد گوگل آخرین بار کدام نسخه را خوانده و آیا خطایی دارد. با ابزار URL Inspection هم میتوانید ببینید آیا یک آدرس خاص مسدود است یا نه.
جمع‌بندی
robots.txt برای مدیریت خزش است و noindex برای مدیریت ایندکس. این دو را با هم اشتباه نگیرید. اگر مطمئن نیستید سایتتان درست تنظیم شده، در بررسی سئو تکنیکال این موارد را به همراه کانونیکال‌ها و نقشه سایت بررسی می‌کنم.