Jangan merasa aman begitu saja saat menggunakan robots.txt untuk mencekal materi yang sensitif atau rahasia. Salah satu alasan adalah mesin pencari masih dapat memberi referensi URL yang Anda blokir (hanya menunjukkan URL, tidak ada judul atau snippet) jika ternyata ada tautan ke URL itu di Internet (seperti catatan perujuk). Tidak hanya itu, mesin telusur yang tidak patuh atau sembarangan yang tidak mengakui Robots Exclusion Standard dapat mengabaikan instruksi dari robots.txt Anda. Terakhir, pengguna yang ingin tahu dapat memeriksa direktori atau subdirektori pada robots.txt Anda dan menebak URL dari konten yang Anda tidak ingin perlihatkan. Mengenksipsi konten atau melindunginya dengan kata sandi dengan .htaccess merupakan alternatif yang lebih aman.
Hindari:
- memungkinkan laman mirip hasil penelusuran untuk dirayapi. (pengguna tidak suka meninggalkan satu laman hasil penelusuran dan membuka laman hasil penelusuran lain yang tidak menambahkan nilai yang signifikan bagi mereka)
- membiarkan terbentuknya URL sebagai hasil dari layanan proxy untuk dirayapi
Tidak ada komentar:
Posting Komentar