Robot Txt pada Blog penting menurut saya untuk di Atur, terutama untuk Anda pengguna Plafform Blogspot. Karena kalau tidak diatur, pada blog kita sering terjadinya penduplikatan artikel saat di Index oleh mesin pencarian seperti google. Kita gak ingin donk, nantinya blog kita dianggap spam oleh mesin pencarian, gara-gara blog kita dirayap ganda oleh mesin pencarian. Untuk mengatasi hal tersebut Anda dapat mengatur robot txt yang telah ada pada dasboard/panel Blogger Anda.

Robot Txt
Pembahasan banyak mengenai File robots.txt ini dapat Anda simak dan pelajari lebih lengkap dari google secara langsung. Anda mungkin belum banyak mengetahui soal Robot txt ini, silakan pahami terlebih dahulu:
  1. Pelajari Tentang Robot Txt
  2. Cara Membuat File Robot Txt
  3. Cara Menguji robots.txt
  4. Cara Mengirim robots.txt yang diperbarui ke Google
Kenapa saya menyuruh Anda Membaca terlebih dahulu tentang Robot Txt ini, karena ini juga memiliki dampak yang juga bisa membuat blog Anda sangat sulit muncul di pencarian google. Untuk mengatasi hal tersebut Saya rekomendasikan menggunakan Robot txt defaultnya blogspot itu sendiri.
Bagaimana cara menggunakan & Mengatur Robot txt di Blogger?:

Silakan Anda login/masuk kehalaman Blogger Anda, Silakan pilih Setelan >> Preferensi Penelusuran:
  • Silakan aktifkan robots.txt khusus 
  • Siakan aktifkan juga Tag tajuk robot khusus
Seperti gambar berikut ini:
Preferensi Penelusuran
Nah untuk yang pertama aktifkan robots.txt khusus, Silakan isikan saja yang default seperti berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://stusbloganda/sitemap.xml

seperti gambar berikut:

Robot txt Khusus
Nah untuk yang Tag tajuk robot khusus silakan atur seperti gambar berikut:
Tag Tajuk Robot Txt
Setelah itu silakan klik simpan perubahan. Karena dulu saya sempat bingung, untuk apa Robot Txt ini, punya manfaat tidak sih? Ternyata memiliki manfaat yang positif bagi perkembangan blog kita.