همانطور که می‌دانیم موتورهای جستجوگر مانند گوگل و یاهو برای یافتن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنند. ربات موتورهای جستجوگر که با نام‌های Crawler یا Spider نیز شناخته می‌شوند با رفتن به صفحات وب اطلاعات مربوط به صفحات مختلف را گرفته و آن را برای موتورهای جستجو ارسال می‌کنند.
شاید بپرسید که این ربات های موتور جستجوگر هر چند وقت یک بار به سایت شما سر می‌زنند؟ خب، باید گفت که این تعداد دفعات سر زدن ربات ها به سایت تان به تعداد بروزرسانی وبسایت شما ارتباط مستقیم دارد. هر چه در طول روز تعداد بیشتری مطلب در وب‌سایت‌تان قرار بگیرد، ربات‌های جستجوگر دفعات بیشتری به سایت شما مراجعه می‌کنند.
با این همه باید بگوییم که صفحات یک سایت اهمیت و امنیت یکسانی با یکدیگر ندارند. برای مثال بیشتر وب‌مسترها علاقه‌ای ندارند تا پنل مدیریت وب‌سایت‌شان در موتورهای جستجوگر ایندکس شود و در اختیار عموم قرار بگیرد یا اینکه برخی از صفحات سایت‌شان محتوای قابل قبولی ندارد و به همین دلیل ترجیح می‌دهند آن صفحات، تا تکمیل نهایی در موتورهای جستجو ثبت نشوند. در چنین شرایطی تکلیف چیست؟ چگونه می‌توان از ورود ربات‌های جستجوگر به این صفحات جلوگیری کرد؟
دقیقاً در همین نقطه است که فایل robots.txt برای کمک وارد می‌شود.
فایل Robots.txt چیست؟
فایل robots.txt یا( robots exclusion standard ) فایل متنی با فرمت txt است که وب‌مسترها بوسیله‌ی آن می‌توانند چگونگی ایندکس شدن وب‌سایت‌شان توسط ربات‌های موتور جستجوگر را تعیین کنند.
به طور خلاصه، با استفاده از فایل robots.txt میتوانید رفتار Crawlerهای موتور جستجو در قبال وبسایت خود را تعیین کنید و به آن‌ها بگویید کدام قسمت از صفحات وب‌سایت‌تان را نباید جستجو و ایندکس کنند.
به هر حال، روش‌هایی در بهینه‌سازی وبسایت وجود دارد که زمان‌بر یا دشوار نیستند و استفاده از فایل robots.txt یکی از آنهاست.
برای آنکه از قدرت فایل robots.txt برای سئوی وبسایت خود استفاده کنید، احتیاجی به تخصص در کدنویسی ندارید. اگر میتوانید منبع کدهای وبسایت خود را پیدا کنید، مطمئن باشید میتوانید از این فایل استفاده کنید.