نحوه استفاده از فایل robots.txt در سایت

نحوه استفاده از فایل robots.txt در سایت

از زمان شکل گیری ابزار ارتباطی نوین به نام اینترنت یا شبکه جهانی، قوانین و قواعدی نیز به همراه آن وضع شد که در بحث بهینه سازی سایت یا سئو (Search Engine Optimization) واضعان آن قواعد و قوانین، عمدتا موتورهای جستجوگر معروفی چون گوگل (google)، بینگ (bing)، یاهو (yahoo) و... بوده اند، بدین ترتیب با هم اندیشی توسعه دهنده گان وب و مهندسین این شرکت ها، به تدریج استانداردها و قواعدی برای مدیران سایت ها تدوین شد که یکی از این قواعد، کنترل رفتار ربات های خزنده (bots) موتورهای ...