سایت‌ها و مقالات مخفی اینترنت را چگونه بیابیم؟!
در اینترنت صاحبان وب سایت‌های زیادی وجود دارند که بعضی از صفحات سایت خود را از دید موتور های جستجو پنهان می‌کنند. اما حالا به وسیله Robots.txt شما توانایی این را دارید که اینگونه صفحه‌ها را به سادگی پیدا کنید. Robots.txt همانطور که از پسوند آن پیداست، فایلی است متنی که در ریشه اصلی سایت قرار می‌گیرد و به وسیله آن می‌توان فهرست شدن صفحات را توسط روبوت‌های جستجو کنترل کرد. اگر در این فایل از خاصیت disallow استفاده شود، صفحات مورد اشاره از دید موتورهای جستجو مخفی می‌مانند.
و اما آموزش
1) وب سایت گوگل را باز کنید و این کلمه کلیدی را در آن جستجو کنید:
"robots.txt" "disallow:" filetype.txt
2) پس از آن نتایج فایلهای Robots.txt که در آنها از فرمان disallow استفاده شده را خواهید دید.
3) به عنوان نمونه، نتیجه اول که سایت کاخ سفید است را باز می‌کنیم. طبق آن چیزی که مشاهده می‌شود، می‌توان دید که صفحات زیادی به حالت پنهان در آمده‌اند.
4) برای باز کردن یکی از آن صفحات ممنوعه کافی است که فرمان مقابل عبارت disallow را بدون کلمه Text انتهایی کپی کنید
5) حالا متن کپی شده را در انتهای آدرس اصلی وب سایت قرار بدهید و وارد آن صفحه شوید.
این یکی از صفحات پنهان شده کاخ سفید است!