Cara Mengaktifkan Robots.txt Pada Blogger

Jumat, Juli 10, 2015

Cara Mengaktifkan Robots.txt Pada Blogger

Bermain dan otak atik blog dengan keinginan agar blog semakin maju. Terkadang kita lupa atau bahkan kita sendiri tak tau fungsi dari Robots.txt pada blogger. Pada dasarnya Robots.txt sangat di perlukan bagi setiap website di internet agar terdaftar di mesin pencarian dan Mengatur halaman mana saja yang boleh terindex oleh mesin pencari. Jadi gak salah lagi jika Robots.txt ada hubungan erat dengan SEO. Di bawah ini ada cara Cara Mengaktifkan Robots.txt Pada Blogger agar tidak salah kaprah salam menyeting.

1. Login akun blogger anda.
2. Klik setelan -> Preferensi Penelusuran / Search preferences.
3. Pada tab perayap dan pengindeksan pilih robots.txt.

4. Dan masukan code di bawah ini.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://www.stevin-germy.com/feeds/posts/default?orderby=UPDATED

Ganti Url http//www.stevin-germy.com/ dengan Url milik anda.

Arti dari code di atas adalah

1. "User-agent: Mediapartners-Google" : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.

2. "Disallow: " : Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.

3. "User-agent: *": ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode '*').

4. "disallow: /search" : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.

5. "allow: /": Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.

6. "Sitemap: " : Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.

Kesimpulan :

- File robots.txt memperbolehkan crawler google adsense (User-agent:Mediapartner-Google) untuk menjelajah semua halaman situs anda

- Mengijinkan semua crawler dari mesin pencari manapun (User-agent:*) merangkak semua halaman blog Anda kecuali halaman dengan url yang memiliki awalan urlblog.com/search. Karena halaman dengan url awalan itu merupakan halaman-halaman arsip dan label.