Cara mengatur robot.txt dan tag header khusus

ROBOT.TXT DAN TAG HEADER KHUSUS

Kali ini kita akan membahas bagaimana cara Seeting Robot txt dan tag Header robot khsus Tujuan dari keduanya adalah untuk membantu Search engine Melakukan Perayapan- pengindeksan Blog/web anda.

Robot txt.

Jika Anda baru Mendengar atau membaca semua istilah-istilah SEO, Anda mungkin bertanya-tanya apa artinya robots.txt. Robots.txt hanyalah sebuah file teks sederhana yang ditempatkan pada root domain Anda yang memberitahu mesin pencari bagaimana mengiindeks situs Anda, di mana yang Harus di indeks dan di mana tidak Tidak harus di indeks. Seperti yang Anda lihat,Penggunaan robots.txt yang salah dapat menghapus indeks Anda dari pencarian google yang kebetulan menjadi sumber terbesar dari lalu lintas.

Berikut adalah cara untuk melakukan seeting pada Blogspot anda

1. Login ke Blog anda
2. Masuk kemenu setelan Lalu
3. Pilih Setelan prefensi penelusuran dan
4. Aktifkan Robot.txt khusus kemudian
5. Isikan Script di bawah ini :

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://d-crow.blogspot.com/feeds/posts/default?orderby=updated

Catatan : Ganti code yang berwarna merah dengan URL Blog sobat

Jika sudah, Simpan perubahan dan Hasilnya adalah serti pada gambar di bawah ini.

Tag header robot khusus

Nah untuk setinggan Tag header robot khusus sendiri bisa anda Lihat pada Gambar di bawah ini :

Penjelasan dari tag header robot khusus

All

Tidak ada batasan untuk mengindeks atau melayani. Catatan: ini direktif adalah nilai default dan tidak berpengaruh jika eksplisit terdaftar.

Noindeks

Jangan menampilkan halaman ini dalam hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.

nofollow

Jangan mengikuti link di halaman ini

None

Setara dengan noindex, nofollow

Noarchive

Jangan menunjukkan "Cached" link dalam hasil pencarian.

Nosnippet

Jangan menunjukkan potongan dalam hasil pencarian untuk halaman ini

Noodp

Jangan gunakan metadata dari Open Directory proyek untuk judul atau potongan ditampilkan untuk halaman ini.

notranslate

Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.

noimageindex

Jangan Mengindeks gambar pada halaman ini.

unavailable_after: [RFC-850 tanggal / waktu]

Jangan tampilkan halaman dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditetapkan dalam RFC 850 format.

Jika anda masih ragu dengan format diatas Dan ingin pemahaman yang lebih jelas lagi mengenai robots.txt, Anda dapat melihat video ini oleh Matt Cutts.