Skip to content Skip to sidebar Skip to footer
Home / SEO / Cara Mengatasi Masalah Diindeks, Meski Diblokir Robot.txt
Cara Mengatasi Masalah Diindeks, Meski Diblokir Robot.txt

Cara Mengatasi Masalah Diindeks, Meski Diblokir Robot.txt

By Dewa Plokis
Mengatasi Masalah Warning Diindeks Meski Diblokir Oleh Robots.txt atau Indexed, though blocked by robots.txt ini biasanya muncul pada Google Search Console (console versi baru) khususya untuk blog platform blogger.

Kalau kita cek semua URL yang mendapatkan pesan (diindeks, meski diblokir oleh robots.txt) ini, kesemuanya adalah halaman Search, yaitu untuk halaman Search Label dan juga halaman navigasi old post / postingan lama. Namun kebanyakan kasus yang muncul adalah pada halaman search.

Mengatasi masalah Diindeks, Meski diblokir oleh robots.txt

Kenapa diindex Meski diblokir robot.txt

Ketika Anda mendapatkan pesan Diindeks, meski diblokir oleh robots.txt di Google Search Console, kemungkinan Anda akan panik mendengar kata “diblokir” dan “dampak negatif” pada pesan tersebut. Sepertinya ini akan menjadi masalah besar untuk Anda. ☺

Anda harus tahu, bahwa pesan yang terdapat pada Search Console Google itu sifatnya hanyalah peringatan alias warning atau hanya sebuah pemberitahuan. Bukan hal yang harus selalu diperbaiki. Karena itu di peringatan tersebut tertulis, “Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.” Jadi perlu ditinjau dan dipertimbangkan. Artinya, setetah meninjau dan mempertimbangkan bahwa hal tersebut bukan sebuah masalah maka tidak perlu ditanggapi.

Untuk kasus ini, ada 2 jenis skenario yang menyebabkannya. Diantaranya yaitu:

1. Jika menggunakan default robots.txt

Sekarang coba Anda check pada robot txt yang blog Anda gunakan dengan mengakses link seperti contoh dibawah ini :
https://dewaplokis.blogspot.com/robots.txt
Biasanya penampakan robot txt yang muncul akan mirip seperti dibawah ini sebelum di set [default]
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://dewaplokis.blogspot.com/sitemap.xml

Pada robots.txt di atas sangat jelas menunjukan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot. Kantas kenapa tetap dirayari oleh robot?. Ini karena halaman search berkaitan dengan halaman lain seperti breadcrumbs, widget label, navigasi halalam next dan prev.

Untuk contohnya pada google search result saat mendapatkan pesan warning diindex namun diblokir robot

Mengatasi masalah Diindeks, Meski diblokir oleh robots.txt

Perintah Disallow: / maksudnya adalah melarang bot / mesin pencari untuk merayapi halaman atau direktori tersebut. perintah file diatas Disallow: /search artinya melarang mesin pencari untuk merayapi halaman /search. Contoh URL-nya:

https://example.com/search?q=kaos+distro
https://example.com/search/label/menulis?updated-max=2009-12-14T21:43:02-07:45&max-results=100start=20&by-date=false

Kenapa ini sengaja dilarang oleh robot blogger? Karena memang tidak perlu diindeks maupun dirayapi. Halaman search ini merupakan halaman tak terbatas atau unlimited, sehingga akan menghabiskan kuota jika di rayapi ataupun diindeks. Justru perayapan dan index seharusnya lebih mengutamakan halaman posting.

Akan lain ceritanya jika url search tersebut berada pada link web lain. Kemungkina google akan merayapi lalu mengindeksnya dan masuk dalam daftar pencarian google.
"Ingat, pengindeksan dan perayapan merupakan dua hal yang berbeda.
Nah, inilah yang kemudian menjadi cikal bakal terjadinya kasus "Diindeks, Meski Diblokir Robot.txt". Kemungkinannya tadi karena Anda memasang default robot.txt dan halaman search Anda ditemukan pada blog orang lain (mungkin menanam backlink dsb.)

Apakah perlu cemas kalau URL /search diindeks? Tidak. Ini tidak berpengaruh pada performa situs secara umum di hasil pencarian. Dan jarang sekali URL /search mendapat peringkat lebih tinggi dibanding halaman postingan..

Jadi kesimpulannya, bagi Anda yang menggunakan robots.txt default, pesan di Search Console tsb bukan masalah. Boleh diabaikan saja.

2. Jika mengaktifkan custom robots.txt

Bagi Anda yang mengutak-atik pengaturan robots.txt dan tag tajuk robots.txt khusus, maka perlu dicek satu per satu URL yang disebutkan di Search Console.

Apakah Anda ingin URL tsb;

(1) tidak dirayapi tapi boleh diindeks, atau
(2) tidak dirayapi dan tidak diindeks?

Kalau opsi nomor (1), berarti semua aman. Beres. Pemberitahuan di Search Console boleh diabaikan karena memang pengaturannya disengaja.

Kalau opsi nomor (2), yaitu Anda tidak ingin URL tsb diindeks dan muncul di hasil pencarian, maka jangan menggunakan perintah robots.txt. Gunakan tag meta ‘noindex’ atau perintah noindex (header HTTP X-Robots-Tag). Atau bisa juga dengan membuat sandi di direktori atau halamannya. Dan di robots.txt justru harus diijinkan perayapan ke URL tsb. Karena kalau tidak, maka Google tidak dapat membaca tag ‘noindex’-nya. Dan masalahpun beres.

Untuk selengkapnya tentang mengatasi pesan peringatan error ini, kita lanjutkan di bawah.


Cara Mengatasi Masalah Diindeks, Meski Diblokir Robot.txt

Setelah membaca keterangan diatas, mungkin ada yang sudah tidak lagi memikirkan problem Indexed, though blocked by robots.txt pada Google Search Console ini. Namun bagi Anda yang tetap ingin memperbaiki masalah pesan diindex meski diblokir oleh robot txt ini, silakan simak baik-baik tutorial berikut ini

Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas. Atau kalau tidak mau repot scroll keatas ini kodenya:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://example.com/sitemap.xml

Ganti dengan kode sitemap yang ini 
User-agent: *
Disallow:

Sitemap: https://dewaplokis.blogspot.com/sitemap.xml
Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://dewaplokis.blogspot.com/feeds/posts/default
Sitemap: https://dewaplokis.blogspot.com/sitemap-pages.xml

Silahkan ganti kode yang ditandai dengan domain blog Anda.

Untuk kode berikut, buat baris baru jika postingan blog Anda sudah di atas 500.

Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500

Begitu seterusnya, jika postingan sudah di atas 1000, maka buat baris baru lagi seperti berikut:

Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=1001&max-results=500
Maka ketika dimasukkan kedalam custom sitemap, jadinya seperti ini:
User-agent: *
Disallow:

Sitemap: https://dewaplokis.blogspot.com/sitemap.xml
Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: https://dewaplokis.blogspot.com/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: https://dewaplokis.blogspot.com/feeds/posts/default
Sitemap: https://dewaplokis.blogspot.com/sitemap-pages.xml

Silakan ubah https://dewaplokis.blogspot.com dengan domain Anda
Kemudian silahkan simpan kode meta tag noindex berikut di bagian <head> blog untuk memblokir bot pada halaman arsip, search, label dan tidak menampilkannya di halaman hasil percarian Google.

<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

atau bisa juga dengan menggunakan tag kondisional terbaru seperti ini
<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
    <meta content='noindex,nofollow,noarchive,nosnippet,noimageindex' name='robots'/>
</b:if>

Untuk kelengkapan meta tag, Anda bisa baca postingan sebelumnya tentang Pasang Meta Tag SEO Friendly 2019 Valid HTML5 Untuk Blogger Kemudian silahkan ikuti 2 postingan saya sebelumnya agar tidak menimbulkan error struktur data.Yaitu postingan tentang Pasang JSON-LD Schema.org Untuk Postingan Blog dan Cara Pasang Schema.org LD-Json Untuk Homepage Blogger.

Sekarang coba Anda submir robot.txt terbaru Anda pada settingan blogger. Kemudian masuk ke Console dan lakukan validasi pada warning Diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console. Kemungkinan hasilnya tidak langsung, biasanya membutuhkan waktu maksimal 3 hari sampai laporan muncul. Pemberitahuan akan muncul melalui email.

Demikian artikel kali ini tentang cara mengatasi masalah diindex, meski diblokir oleh robot.txt pada platform blogspot.

Sumber :
  • https://techrina.net/2019/01/05/kasus-diindeks-meski-diblokir-oleh-robots-txt-pada-blogger/ 
  • https://www.kompiajaib.com/2019/06/mengatasi-masalah-warning-diindeks.html


Load Comments
Disqus Codes
  • To write a bold letter please use <strong></strong> or <b></b>.
  • To write a italic letter please use <em></em> or <i></i>.
  • To write a underline letter please use <u></u>.
  • To write a strikethrought letter please use <strike></strike>.
  • To write HTML code, please use <code></code> or <pre></pre> or <pre><code></code></pre>.
    And use parse tool below to easy get the style.
Show Parse Box

strong em u strike
pre code pre code spoiler
embed