Cara Gunakan Robots.txt Dengan Efektif

Batasi perayapan jika tidak diperlukan dengan robots.txt

File "robots.txt" memberi tahu mesin telusur apakah dapat mengakses kemudian merayapi bagian situs Anda (1).

User-agent: * Disallow: /gambar/ Disallow: /cari

(1) Semua bot mesin telusur yang patuh (ditandai dengan simbol pengganti *)

seharusnya tidak mengakses dan merayapi konten dengan /images/ atau URL apa

pun yang jalurnya dimulai dengan /search

File ini, yang harus dinamai "robots.txt", ditempatkan di direktori akar situs Anda (2)

(2) Alamat file robots.txt kita

Anda mungkin tidak ingin laman tertentu dari situs Anda dirayapi karena laman tersebut mungkin tidak berguna bagi pengguna jika ditemukan sebagai bagian dari hasil mesin telusur. Jika Anda ingin mencegah mesin telusur merayapi laman Anda, Alat Webmaster Google memiliki pembuat robots.txt untuk membantu Anda membuat file ini. Perhatikan bahwa jika situs Anda menggunakan subdomain dan Anda ingin laman tertentu tidak dirayapi pada subdomain tertentu, Anda harus membuat file robots.txt terpisah untuk subdomain tersebut. Untuk informasi selengkapnya tentang robots. txt, sebaiknya Anda membaca panduan Pusat Bantuan Webmaster tentang menggunakan file robots.txt ini.

Terdapat beberapa cara lain untuk mencegah konten muncul di hasil penelusuran, seperti menambah "NONINDEX" ke tag meta robots Anda, menggunakan .htaccess pada direktori yang dilindungi kata sandi, dan menggunakan Alat Webmaster Google untuk menghapus konten yang telah dirayapi. Insinyur Google Matt Cutts menjelaskan satu per satu hal-hal yang perlu diperhatikan pada setiap metode pemblokiran URL dalam sebuah video yang membantu.

Cara

Praktik Terbaik