وقتی ربات های موتور جستجو به جستجوی هر وب سایتی می پردازند ، ابتدا به دنبال فایل robots.txt می گردند. به همین دلیل ، دارندگان وب سایت باید پاسخ این سوال را که “robots txt چیست” و الگوهای دستوری که باید در پرونده نوشته شود ، به روشنی بدانند.