Diindeks meski diblokir oleh robots.txt di Blogger, Apa Penyebabnya?
Daftar Isi
Postingan ini saya tulis untuk menjawab pertanyaan yang cukup sering ditanyakan oleh pelanggan template blogger premium milik saya, yaitu mengenai permasalahan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.
Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.
Langsung saja ke topik pembahasan.
Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”
Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.
Sedangkan di blogger sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindex di mesin pencari.
Halaman tersebut adalah halaman pencarian dan halaman label.

Pada file robots.txt tersebut tertulis perintah :
Disallow: /search
Perintah tersebut berfungsi untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali dengan /search setelah alamat blog.
Nah URL yang diawali dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk
Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb
Selain untuk halaman label dan pencarian, URL yang diawali dengan /search juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7
Terus bagaimana cara mengatasinya?
Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.
1. Cara Pertama
Cara paling gampang adalah dengan menghapus perintah Disallow: /search di file robots.txt menggunakan fitur custom robots.txt di blogger.
Dengan cara ini bisa menghilangkan peringatan diindeks meski diblokir oleh robots.txt di google search console.
Tapi dampak buruknya halaman label dan pencarian masih tetap bisa terindex di halaman pencarian.
Umumnya kita tidak ingin halaman label dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.
2. Cara Kedua
Cara kedua adalah dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.
Saat ini Google masih mendukung tag header robot, dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.
Untuk memasang tag header robot ini sebenarnya/seharusnya bisa dilakukan secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di blogger.
Ketika pelanggan template blogger premium milik saya menanyakan permasalahan ini, saya biasanya menyuruh untuk mengatur setelan “Tag tajuk robot khusus.”
Tapi entah kenapa terakhir saya cek fitur “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis muncul tag header robot noindex di halaman arsip, label, dan pencarian.
Karena cara tersebut sudah tidak lagi bekerja, maka alternatifnya bisa dengan memasang tag meta robot langsung di dalam template.
Caranya bagaimana, Mas?
Langsung saja salin kode di bawah ini :
<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>
Letakan kode tersebut tepat di bawah kode <head> di dalam template.
Langkah selanjutnya, sobat juga harus mengapus perintah Disallow: /search pada file robots.txt.
Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Untuk cara menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Klik pada robots.txt kostum, setelah itu masukkan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://linkmagz.sugeng.id/sitemap.xml
Note: ganti linkmagz.sugeng.id dengan alamat blog sobat.
Jangan lupa klik “Simpan“
Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul notifikasi-notifikasi lainnya.
Notifikasi lain selain “Diindeks meski diblokir oleh robots.txt” biasanya bukan bersifat sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.
Berikut adalah beberapa notifikasi yang paling umum:
Anomali crawling
Notifikasi ini muncul biasanya karena ada URL postingan yang awalnya sudah terindex di mesin pencari namun sudah dihapus di blog.
Cara mengatasinya bagaimana, Mas?
Bisa dibiarkan saja atau jika sobat risih sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di blogger.
Cara menggunakan fitur pengalihan khusus bisa dibaca di sini : Cara SEO Blogger.
Di-crawl – saat ini tidak diindeks
Notifikasi ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Mas?
Cek daftar URL yang mendapatkan notifikasi ini. Jika sebagain besar adalah URL RSS feed maka cukup biarkan saja.
URL RSS feed contohnya seperti ini:
https://viomagz.sugeng.id/feeds/posts/default
https://viomagz.sugeng.id/feeds/273523674801878748/comments/default
Halaman alternatif dengan tag kanonis yang tepat
Notifikasi ini muncul karena adanya URL versi mobile dengan parameter ?m=1 di belakang URL.
Ketika sobat mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan paremeter ?m=1.
Di blogger otomatis menambahkan tag canonical (kanonis) pada halaman/postingan dengan parameter ?m=1.
Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.
Cara mengatasinya bagaimana, Mas?
Ini normal, cukup biarkan saja.
Dan notifikasi lainnya
Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi tersebut sebagian besar sifatnya bukan peringatan.
Selama notifikasinya bukan sebuah peringatan atau warning, maka sobat tidak perlu terlalu khawatir. Cukup dibiarkan saja apa adanya.
Mungkin hanya sampai di sini saja postingan saya kali ini.
Jika ada pertanyaan silakan disampikan melalui komentar.
Terima kasih.
Randi
Akhirnya, ada solusi untuk masalah ini. Terima kasih mas.
Mas Sugeng
Sama-sama mas. Silakan dipraktekan.
Zainal Faruq
Mas, mau tanya… Template viomagz saya kok tombol share Twitter tetep nggak bisa nampil gambarnya. Udah ngikutin tweet card tetep nggak. Bisa. Sampai cari tutorial yang template nya saya kenal itu viomagz. Tetep nggak bisa.
Mas Sugeng
Saya cek di blog demo tombol share twitternya normal, bisa menampilkan gambar/thumbnail.
Jadi kemungkinan penyebabnya karena ada yang salah di blognya.
Silakan mas kirim email ke admin@sugeng.id dengan mencantumkan alamat blognya, nanti saya bantu cek langsung.
Note: Support seputar template blogger hanya dilayani melalui email. Jika kedepannya ada kendala lainnya mohon disampaikan melalui email.
rofif
Di indeks meskipun di blokir oleh robot.txt sama dikecualikan apa beda mas? Mohon bantuannya ?
Mas Sugeng
Dikecualian = halamannya tidak ditampilkan di hasil pencarian Google.
Diindeks meskipun di blokir oleh robots.txt = Halamannya ditampilkan dihasil pencarian tapi dengan error, tidak ada meta deskripsi karena alasan diblokir robots.txt.
Muhammad Alex
Cepat juga mas tanggapan dan solusi nya..
Terima kasih.. sukses selalu mas sugeng
Arif Rudiantoro
Terimakasih Mas Sugeng
Ijin di terapkan ya π
Mas Sugeng
Sama-sama. silakan diterapkan.
wafik
Mas? minta tutor agar website tidak dianggap spam oleh pihak FB, udah 2 website kena sledeng FB pakai templete biomagz mas
Mas Sugeng
Mohon maaf belum bisa bikin tutornya mas, soalnya permasalahan tersebut di luar pengalaman saya.
Arief Ghozaly
Sy bantu jawab ya.
Ngak ada kaitannya dgn template. Itu semua disebabkan karena pemilik blog yg share artikel sembarangan, atau ada indikasi spam yg dideteksi oleh FB thdp blog tsb.
Adi Wardana Wijaya
Bantu jawab, mungkin terlalu banyak share mas di FB, jangan terus terusan share, pasti di anggap spam kalau terlalu banyak share oleh FB
azmin
Terimakasih sudah menyelamatkan masalah saya yang udah berminggu-minggu saya car, namun mas sugeng udah memberikan informasi yang saya butuhkan. Thank’s mas sugeng ??
Mas Sugeng
Sama-sama mas ?
indranovian
Saya juga sering mendapatkan notifikasi semacam ini mas, antara bingung atau nggaknya, karena kalau menghapus disallow /search, nanti takut halaman pencariannya terindeks. Jadi banyak banget halaman error yang harus dihapus.
Mas Sugeng
Semoga sekarang sudah tidak bingung lagi.
Ilmuips.my.id
Walaupun agk bingung penerapannya musing2 buat kepala pening. Akhirnya masalah robot.txt terselesai kan. Makasih mas sugeng .
Mas Sugeng
Sama-sama.
Eko Sodikul
Penjelasan dari hal-hal di GSC kurang lengkap om. Mohon bisa di lengkapi dn kalau bisa di beri solusi juga
Mas Sugeng
Postingan ini secara khusus hanya membahas mengenai permasalahan “Diindeks meski diblokir oleh robots.txt” di GSC, bukan pembahasan fitur GSC secara lengkap.
TONO
Mas,
Jadi kalau saya ikuti setelan yang khusus template linkmagz.
Untuk setelan tag tajuk robot khusus perlu diaktifkan lagi tidak ya?
Sebelumnya saya enggak aktifkan robot.txt khusus, pantesan artikel postingan saya tidak pernah parkir di google search console. Orang saya gak aktifkan. Lol
Terima kasih mas.
Regards, sysnoa.id
Mas Sugeng
Tag tajuk robot khusus lebih baik dinonaktifkan.
TONO
Terima kasih mas, saya doakan anda sehat selalu dan terhindar dari covid-19. Aamiin
Mas Sugeng
Aminn. Semoga kita semua terhindar dari covid-19.
Gabriel Irfan
untuk mengatasai hal begini gmna mas ?
1. Ditemukan – saat ini tidak diindeks
2. Halaman dengan redirect
3. Halaman alternatif dengan tag kanonik yang tepat
Mohon bantuannya, teriakasih sebelumnya π
Mas Sugeng
Lain kali baca artikelnya lebih teliti.
Ridsal
Ada juga solusinya. Jadi kalau bermasalah kembali tinggal mampir ke blog mas aja nih
Mas Sugeng
Mantabb
Ista
Mas mau tanya, 7 hari yang lalu saya buat blog lalu diisi post sekitar 10 langsung submit webmaster dan crawl, biasanya 1-2hari udah keindex di google, tapi ko ga keindex 1 artikel pun. Padahal domain nya fresh mas.
Mas Sugeng
Penyebabnya karena domainnya masih fresh. Untuk blog atau domain yang masih baru memang seperti, itu kecepatan index-nya masih lambat.
Aip Saripudin
Akhirnya ketemu juga:
Berarti kalau ingin menampilkan label tertentu cukup di allow saja ya mas? Kira-kira seperti ini:
Disallow: /search
Allow: /search/label/contoh1
Allow: /search/label/contoh2
Mas Sugeng
Betul sekali mas.
Andrian
Saya setiap kali submit artikel ke GSC itu g pernah berhasil…itu kenapa ya om?
Mas Sugeng
Kurang tahu.
prochakeen
hahah. maaf…
abah game
Malam mas, mau tanya, bagaimana cara menampilkan menu navigasi di pencarian google, yang berada di bawah deskripsi?
Mas Sugeng
Menggunakan schema markup sitelinks search box. Referensi : https://developers.google.com/search/docs/appearance/structured-data/sitelinks-searchbox
idkholis
Terima kasih banyak mas sugeng sudah memberikan solusi mengatasi peringatan Diindeks, meski diblokir oleh robots.txt
Hal tersebut memang sudah lama muncul di GSC. Cuman bingung cara mengatasinya bagaimana, semoga dengan langkah yang Mas Sugeng share bisa solved ya.
Mas Sugeng
Sama-sama mas.
idkholis
Setelah saya pantau beberapa minggu, validasi Gagal mas dengan menerapkan Script Meta dan melakukan pengaturan di dashboard blogger.
Mas Sugeng
Ternyata file robots.txt perlu diubah mas. Panduan di atas sudah saya perbarui, silakan edit file robots.txt-nya setelah itu validasi ulang.
idkholis
Baik Mas
robots.txt sudah aku perbaharui dengan menghilangkah /search pada Disallow.
Perkembangannya akan saya report lagi.
Munaji
kemaren sudah sempat di utak atik, eh ternyata belum pas.. Sesuai saja dengan tutor ini. (Baru buka Telgram)
Mas Sugeng
Silakan disesuaikan.
Arif
Saya bukan pengguna template dri mas sugeng. Tapi berkat informasi diatas saya jadi paham. Terimakasih atas solusinya mas..
Mas Sugeng
Sama-sama mas.
www.aubinesia.com
Alhamdulillah akhirnya ada solusi diantara permasalahan kami. Para blogger indonesia. Thanks mas sugeng!
Mas Sugeng
Sama-sama
Akumuslim.web.id
Mas kalau ditemukan tetapi tidak diindeks, apa yang harus diperbuat ya ? Mohon petunjuknya
Mas Sugeng
Cek URL mana saja yang ditemukan tetapi tidak diindeks.
Jika tidak ada URL postingan, maka cukup dibiarkan saja.
Tapi jika ada URL postingan, gunakan fitur inspeksi URL untuk meminta pengindeksan ulang pada URL yang ditemukan tetapi tidak diindeks.
TB
Artikel saya kok masih sepi penonton ya. Padahal udah pake artikel trending. Alasannya kenapa ya mas ?
Mas Sugeng
Kurang promosi
Putra Jy
Sudah menaruh kode itu dibawah tapi error Diindeks, meski diblokir oleh robots.txt masih belum hilang, validasi ulang tanggal 27 april selesai tanggal 2 mei tpi hasilnya gagal. ada solusi lain gak ya mas ?
Mas Sugeng
Coba aktifkan custom robots.txt, gunakan kode robots.txt ini:
Kode meta robot yang sudah terpasang jangan dihapus.
galuh
Terimakasih Mas Sugeng informasinya. Kemarin saya juga dapat informasi ini dari Search Console, pesannya seperti ini > Google telah memvalidasi perbaikan yang Anda lakukan untuk masalah Cakupan di situs paketcampingjogja.blogspot.com. Masalah spesifik yang divalidasi adalah ‘Diindeks, meski diblokir oleh robots.txt’.
1 halaman di situs Anda divalidasi sebagai telah diperbaiki.
Mas Sugeng
Sama-sama. Semoga bermanfaat.
Afiqur
Mas..letaknya disallow/search itu dimana ya mas….maaf saya masih belajar
sahrulamrdn
Terima kasih mas, semua masalah blog saya terselesaikan berkat bantuan mas sugeng. Semoga sampean selalu diberikan kesehatan.
afiq
mas mau tanya,aku pake linkmagz, udah ngikutin cara anda ,soalnya 3 artikel ku kena diindek meski robot txt..berapa hari biasanya validasinya
Mas Sugeng
1 – 3 minggu
Ruslan
Mas setelah saya update template viomagz-4.3.0 menunya jadi hilang, apa saya harus edit ulang htmlnya?
Mas Sugeng
Edit ulang. Mohon dibaca lagi panduannya karena caranya sudah berbeda dengan versi lama.
hputra
Terima kasih, bisa menjadi solusi yang sebelumnya blog milik saya susah diindeks oleh google.
nyi Penengah Dewanti
allhamdulillah dapet tips dari Om Sugeng
kemarin blogku ada yang begitu om, ini tak coba setting
semoga berhasil makasih Om
Mochammad Rokim
maaf mas,itu robots.txt khusus atau robots.txt kustom karena yang ada itu ads.txt kustom dan robots.txt khusus
Mas Sugeng
robots.txt kustom
SoftSic
Mantap mas. Sangat membantu dan mudah untuk dipahami
Alfian
Kenapa ya di blogspot Sudah sukses
Di yg pkai domain tidak dapat mengambil peta situ
Heri Sujadi
Makasih Mas. Sukses diterapkan.
anjas
mas sugeng, cara memperbaiki yang “dikecualikan” itu bagaimana ya mas?
Mas Sugeng
Tidak perlu diperbaiki mas.
caraservis.my.id
Cara mengatasi yang dikecualikan gimana mas
Roma
Kalau dibiarkan aja gimana mas? Gak papa ya?
zunkarnaim
mas saya kalau indeks artikel di webmaster tools lalu saya cek di google artikel juga belum muncul, sudah saya tunggu sampai 2 minggu lebih tetap saja nda keindeks google.
kira kira masalahnya apa yah
Mas Sugeng
Cek menggunakan menu Inspeksi URL di Search Console. Jika tidak ada peringatan error maka tidak ada yang perlu diperbaiki.
Memang terkadang indexnya bisa lama, terutama untuk blog yang masih relatif baru.
farhan
Mas kalo Kesalahan Pengalihan atau URL tidak ada di Google: Terjadi error pengindeksan. tau solusinya ga Mas ?
SANDI OKTA PRAYOGA
Di-crawl β saat ini tidak diindeks
Apabila yang muncul url rss feed = dibiarkan saja
Pertanyaan:
Apabila yang muncul rata-rata url postingan solusinya gmn mas?
Mas Sugeng
Request pengindexan.
Maksum
Mas Sugeng, saya pengguna Vio toko, dan saya pasang form seperti pada Panduan halaman 3.
Bagaimana cara melihat daftar tamu yang mengisi form tersebut?
Mas Sugeng
Pesan yang dikirim via form kontak masuk ke email yang digunakan untuk login ke blog.
Geomembrane
Ketemu juga artikelnya, terima kasih
BIDM4A
Ketemu juga panduannya. Blog musik saya sering kena nih yang beginian.
Terima kasih banyak Mas Sugeng ππΌ
Robby
Mas, url saya di blog oleh robot gedek, bagaimana cara membukanya?
kholis
kalau peringatan di GSC berupa kesalahan pengalihan itu bagaimana mas, diabaikan atau harus diperbaiki? mohon pencerahan dan solusinya
alam
mohon bertanya mas… kalau untuk masalah ini gimana ya?
Dikecualikan oleh tag βnoindexβ
sahrilku
izin tanya mas, Penyebab URL dianggap tidak baik
URL dengan masalah ini tidak memberikan pengalaman halaman yang baik. apa maksudnya mas, ini di data web inti gsc
sahrilku
min ini masih berlaku sampai sekarang kahh?
Mas Sugeng
Masih
eko
pada bagian penjelasan artikel:
Di-crawl β saat ini tidak diindeks
Notifikasi ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.
yang menjadi permasalahan saya, ternyata bukan hanya url rss feed saja kejadiannya. Ada banyak post artikel saya yang juga mengalami error (Di-crawl β saat ini tidak diindeks)
Berhubung diartikel yang anda tuliskan ini tidak dijelaskan langkahnya, lantas bangaimana penanganan yang harus saya lakukan? Terimakasih
Mas Sugeng
Jika ada URL artikel yang tidak/belum terindex bisa request pengindexan melalui menu Inspeksi URL.
supar
Terima Kasih mas… tips sudah saya coba diblog saya
Nurfaijin
Terimakasih mas sugeng ini….. ketemu sudah solusinya….terimakasih….semoga sukses selalu