Cara Custom Robots.TXT Blogger [Robots.TXT Khusus]

Cara Custom Robots.TXT khusus untuk Blogger [Blogspot] adalah tutorial blogging terbaru yang akan kita bahas kali ini. Untuk blogger versi bahasa Indonesia, settingan robots.txt ini ditulis robots.txt khsusus. Jika pada postingan sebelumnya, kita telah membahas tentang Setting Custom Robots Header Tags untuk blogger yang sudah saya ulas secara lengkap. Dan pada tutorial kali ini akan dibahas tentang setting robot.tx.

Jika Anda telah membaca posting tersebut maka saya harap Anda pasti sudah sadar akan pentingnya melakukan penyetelan robots tersebut untuk mendapatkan peringkat / rangking pada halaman pencarian (google, yahoo, bing, yandex, dll). Dan selanjutnya kita akan melakukan pembahasan lengkap tentang cara setting robots.txt khusus blogger / blogspot ini.

Apa itu Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. File tersebut disimpan dalam situs web atau server blog yang menginstruksikan kepada perayap web tentang cara mengindeks dan merayapi blog pada hasil pencarian.

Hal ini berarti bahwa kita bisa membatasi halaman web di blog Anda dari crawler web sehingga beberapa halaman atau postingan khusus pada blog bisa diperintah melalui robot.txt khusus tersebut agar tidak mengindeks halaman yang tidak perlu di mesin pencari seperti halaman label blog Anda, halaman archive atau halaman lain yang tidak penting untuk diindeks.

Selalu ingat bahwa bot / perayap pencarian memindai file robots.txt terlebih dahulu sebelum merayapi laman web mana pun. Nah, makanya kita perlu melakukan beberapa setting robot txt khusus blogger agar robots txt ini bisa maksimal.

Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Penjelasan Isi File Robots.txt

Sekarang kita lihat penjelasan dari setiap text yang terdapat pada file diatas dan kita uraikan agar bisa lebih dipahami fungsi dari setting robot.txt supaya lebih SEO.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menayangkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog, Anda boleh membiarakn saja menggunakan kode tersebut dan ini tidak akan berpengaruh terhadap pengindeksan post dan halaman pada blog Anda

User-agent: *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default, Semua jenis robot crawler dibolehkan untuk melakukan pengindeksan terhadap website kita. Untuk hal yang boleh dan tidak boleh dirayapi, kodenya ada dibawah.

Disallow: /search
Maksudnya adalah tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.

http://dewaplokis.blogspot.com/search/label/SEO

Dan jika kita menghapus Disallow: /search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya. Hati -hati dalam melakukan setting robot.txt khusus blogger ini. Karena akan bisa mengakibatkan kasus diindex meski diblokir oleh robots txt.

Allow: /
Merujuk ke Beranda yang berarti perayap web dapat merayapi dan mengindeks beranda blog kita.
Maka setiap hal yang berhubungan dengan halaman utama Anda semuanya akan bisa diakses.

Disallow Post Tertentu
Sekarang anggaplah jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan baris di bawah ini dalam kode.

Disallow: /yyyy/mm/post-url.html

Di sini yyyy dan mm mengacu pada tahun penerbitan dan bulan posting masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah postingan di tahun 2016 di bulan Maret maka kita harus menggunakan format di bawah ini.

Disallow: /2016/03/post-url.html

Atau

Disallow: /2019/10/optimasi-seo-postingan-blog.html

Disallow Halaman Khusus
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog darinya yang akan terlihat seperti ini:

Disallow: /p/page-url.html

Atau jika terdapat lebih dari 1 (satu) page yang tidak ingin dirayapi, bisa seperti ini:

Disallow: /p/ekstensi.html
Disallow: /p/egegffegd.html

Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Kode ini merujuk pada peta situs blog kita. Dengan menambahkan tautan peta situs di sini kita hanya mengoptimalkan tingkat perayapan blog kita.

Tambahkan Robots.TXT Khusus [Default] Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

Silakan masuk ke Akun Blogger Anda. Buka Pengaturan ➤ Cari Preferensi ➤ Perayap dan pengindeksan ➤ robots.txt khusus ➤ Edit

Selanjutnya pada kolom Edit Pilih Ya

Custom Robot TXT yang Aman dan SEO Friendly

Untuk pemasangannya, silakan masukkan kode berikut ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Silakan ubah alamat blog diatas dengan milik Anda lalu klik "Simpan perubahan"

Bagaimana cara Memeriksa File Robots.txt?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan /robots.txt di akhir URL blog Anda di browser web. Sebagai contoh:

https://dewaplokis.blogspot.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt yang tadi sudah dibuat maka Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt khusus blogger tersebut. Misalnya kita ambil contoh pada blog saya yang sedang Anda baca saat ini.
Lihat gambar di bawah ini.

Untuk referensi tambahan, silakan baca kedua postingan dibawah ini:

Kesimpulan Tentang Custom Robots.TXT

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file robots.txt khusus di blogger. Disini saya mencoba yang terbaik untuk membuat tutorial ini sesederhana dan seinformatif mungkin. Tetapi tetap jika Anda memiliki keraguan atau pertanyaan maka jangan ragu untuk bertanya kepada saya di bagian komentar di bawah ini.

Demikian tutorial ini tentang Cara Custom / setting Robots.TXT khusus Blogger [Blogspot]. Jika menurut Anda postingan ini bermanfaat, silakan dishare agar semakin bermanfaat. Terima kasih.