همانطور که می‌دانیم موتورهای جستجوگر مانند گوگل و یاهو برای یافتن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنند. ربات موتورهای جستجوگر که با نام‌های Crawler یا Spider نیز شناخته می‌شوند با رفتن به صفحات وب اطلاعات مربوط به صفحات مختلف را گرفته و آن را برای موتورهای جستجو ارسال می‌کنند.
شاید بپرسید که این ربات های موتور جستجوگر هر چند وقت یک بار به سایت شما سر می‌زنند؟ خب، باید گفت که این تعداد دفعات سر زدن ربات ها به سایت تان به تعداد بروزرسانی وبسایت شما ارتباط مستقیم دارد. هر چه در طول روز تعداد بیشتری مطلب در وب‌سایت‌تان قرار بگیرد، ربات‌های جستجوگر دفعات بیشتری به سایت شما مراجعه می‌کنند.