آرشیو طراحی سایت در مجله حیات

وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. با فایل robots.txt بیشتر آشنا شوید.