Sugeng.id

Beranda › Tutorial Blogger › Menengah

Diindeks meski diblokir oleh robots.txt di Blogger, Apa Penyebabnya?

Postingan ini saya tulis untuk menjawab pertanyaan yang cukup sering ditanyakan oleh pelanggan template blogger premium milik saya, yaitu mengenai permasalahan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.

Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.

Langsung saja ke topik pembahasan.

Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”

Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.

Sedangkan di blogger sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindex di mesin pencari.

Halaman tersebut adalah halaman pencarian dan halaman label.

File robots.txt default blogger

Pada file robots.txt tersebut tertulis perintah :

Disallow: /search

Perintah tersebut berfungsi untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali dengan /search setelah alamat blog.

Nah URL yang diawali dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.

Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk

Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang diawali dengan /search juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7

Terus bagaimana cara mengatasinya?

Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.

1. Cara Pertama

Cara paling gampang adalah dengan menghapus perintah Disallow: /search di file robots.txt menggunakan fitur custom robots.txt di blogger.

Dengan cara ini bisa menghilangkan peringatan diindeks meski diblokir oleh robots.txt di google search console.

Tapi dampak buruknya halaman label dan pencarian masih tetap bisa terindex di halaman pencarian.

Umumnya kita tidak ingin halaman label dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.

2. Cara Kedua

Cara kedua adalah dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.

Saat ini Google masih mendukung tag header robot, dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.

Untuk memasang tag header robot ini sebenarnya/seharusnya bisa dilakukan secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di blogger.

Ketika pelanggan template blogger premium milik saya menanyakan permasalahan ini, saya biasanya menyuruh untuk mengatur setelan “Tag tajuk robot khusus.”

Tapi entah kenapa terakhir saya cek fitur “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis muncul tag header robot noindex di halaman arsip, label, dan pencarian.

Karena cara tersebut sudah tidak lagi bekerja, maka alternatifnya bisa dengan memasang tag meta robot langsung di dalam template.

Caranya bagaimana, Mas?

Langsung saja salin kode di bawah ini :

<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content='noindex, noarchive' name='robots'/>
</b:if>

Letakan kode tersebut tepat di bawah kode <head> di dalam template.

Langkah selanjutnya, sobat juga harus mengapus perintah Disallow: /search pada file robots.txt.

Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.

Untuk cara menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.

Klik pada robots.txt kostum, setelah itu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml

Note: ganti linkmagz.sugeng.id dengan alamat blog sobat.

Jangan lupa klik “Simpan“

Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.

Beberapa pesan notifikasi lain

Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul notifikasi-notifikasi lainnya.

Notifikasi lain selain “Diindeks meski diblokir oleh robots.txt” biasanya bukan bersifat sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.

Berikut adalah beberapa notifikasi yang paling umum:

Anomali crawling

Notifikasi ini muncul biasanya karena ada URL postingan yang awalnya sudah terindex di mesin pencari namun sudah dihapus di blog.

Cara mengatasinya bagaimana, Mas?

Bisa dibiarkan saja atau jika sobat risih sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di blogger.

Cara menggunakan fitur pengalihan khusus bisa dibaca di sini : Cara SEO Blogger.

Di-crawl – saat ini tidak diindeks

Notifikasi ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

Cara mengatasinya bagaimana, Mas?

Cek daftar URL yang mendapatkan notifikasi ini. Jika sebagain besar adalah URL RSS feed maka cukup biarkan saja.

URL RSS feed contohnya seperti ini:

https://viomagz.sugeng.id/feeds/posts/default

https://viomagz.sugeng.id/feeds/273523674801878748/comments/default

Halaman alternatif dengan tag kanonis yang tepat

Notifikasi ini muncul karena adanya URL versi mobile dengan parameter ?m=1 di belakang URL.

Ketika sobat mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan paremeter ?m=1.

Di blogger otomatis menambahkan tag canonical (kanonis) pada halaman/postingan dengan parameter ?m=1.

Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.

Cara mengatasinya bagaimana, Mas?

Ini normal, cukup biarkan saja.

Dan notifikasi lainnya

Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi tersebut sebagian besar sifatnya bukan peringatan.

Selama notifikasinya bukan sebuah peringatan atau warning, maka sobat tidak perlu terlalu khawatir. Cukup dibiarkan saja apa adanya.

Mungkin hanya sampai di sini saja postingan saya kali ini.

Jika ada pertanyaan silakan disampikan melalui komentar.

Terima kasih.

Tinggalkan Komentar

93 Komentar

  2. Zainal Faruq

    Mas, mau tanya… Template viomagz saya kok tombol share Twitter tetep nggak bisa nampil gambarnya. Udah ngikutin tweet card tetep nggak. Bisa. Sampai cari tutorial yang template nya saya kenal itu viomagz. Tetep nggak bisa.

    Balas

    • Mas Sugeng

      Saya cek di blog demo tombol share twitternya normal, bisa menampilkan gambar/thumbnail.

      Jadi kemungkinan penyebabnya karena ada yang salah di blognya.

      Silakan mas kirim email ke admin@sugeng.id dengan mencantumkan alamat blognya, nanti saya bantu cek langsung.

      Note: Support seputar template blogger hanya dilayani melalui email. Jika kedepannya ada kendala lainnya mohon disampaikan melalui email.

      Balas

    • Mas Sugeng

      Dikecualian = halamannya tidak ditampilkan di hasil pencarian Google.

      Diindeks meskipun di blokir oleh robots.txt = Halamannya ditampilkan dihasil pencarian tapi dengan error, tidak ada meta deskripsi karena alasan diblokir robots.txt.

      Balas

  5. wafik

    Mas? minta tutor agar website tidak dianggap spam oleh pihak FB, udah 2 website kena sledeng FB pakai templete biomagz mas

    Balas

    • Arief Ghozaly

      Sy bantu jawab ya.
      Ngak ada kaitannya dgn template. Itu semua disebabkan karena pemilik blog yg share artikel sembarangan, atau ada indikasi spam yg dideteksi oleh FB thdp blog tsb.

      Balas

      • Adi Wardana Wijaya

        Bantu jawab, mungkin terlalu banyak share mas di FB, jangan terus terusan share, pasti di anggap spam kalau terlalu banyak share oleh FB

        Balas

  6. azmin

    Terimakasih sudah menyelamatkan masalah saya yang udah berminggu-minggu saya car, namun mas sugeng udah memberikan informasi yang saya butuhkan. Thank’s mas sugeng ??

    Balas

  7. indranovian

    Saya juga sering mendapatkan notifikasi semacam ini mas, antara bingung atau nggaknya, karena kalau menghapus disallow /search, nanti takut halaman pencariannya terindeks. Jadi banyak banget halaman error yang harus dihapus.

    Balas

  8. Ilmuips.my.id

    Walaupun agk bingung penerapannya musing2 buat kepala pening. Akhirnya masalah robot.txt terselesai kan. Makasih mas sugeng .

    Balas

  9. Eko Sodikul

    Penjelasan dari hal-hal di GSC kurang lengkap om. Mohon bisa di lengkapi dn kalau bisa di beri solusi juga

    Balas

    • Mas Sugeng

      Postingan ini secara khusus hanya membahas mengenai permasalahan “Diindeks meski diblokir oleh robots.txt” di GSC, bukan pembahasan fitur GSC secara lengkap.

      Balas

  10. TONO

    Mas,

    Jadi kalau saya ikuti setelan yang khusus template linkmagz.

    Untuk setelan tag tajuk robot khusus perlu diaktifkan lagi tidak ya?

    Sebelumnya saya enggak aktifkan robot.txt khusus, pantesan artikel postingan saya tidak pernah parkir di google search console. Orang saya gak aktifkan. Lol

    Terima kasih mas.

    Regards, sysnoa.id

    Balas

  11. Gabriel Irfan

    untuk mengatasai hal begini gmna mas ?

    1. Ditemukan – saat ini tidak diindeks
    2. Halaman dengan redirect
    3. Halaman alternatif dengan tag kanonik yang tepat

    Mohon bantuannya, teriakasih sebelumnya 🙂

    Balas

  13. Ista

    Mas mau tanya, 7 hari yang lalu saya buat blog lalu diisi post sekitar 10 langsung submit webmaster dan crawl, biasanya 1-2hari udah keindex di google, tapi ko ga keindex 1 artikel pun. Padahal domain nya fresh mas.

    Balas

    • Mas Sugeng

      Penyebabnya karena domainnya masih fresh. Untuk blog atau domain yang masih baru memang seperti, itu kecepatan index-nya masih lambat.

      Balas

  14. Aip Saripudin

    Akhirnya ketemu juga:
    Berarti kalau ingin menampilkan label tertentu cukup di allow saja ya mas? Kira-kira seperti ini:

    Disallow: /search
    Allow: /search/label/contoh1
    Allow: /search/label/contoh2

    Balas

  16. abah game

    Malam mas, mau tanya, bagaimana cara menampilkan menu navigasi di pencarian google, yang berada di bawah deskripsi?

    Balas

    • Mas Sugeng

      Menggunakan schema markup sitelinks search box. Referensi : https://developers.google.com/search/docs/appearance/structured-data/sitelinks-searchbox

      Balas

  17. idkholis

    Terima kasih banyak mas sugeng sudah memberikan solusi mengatasi peringatan Diindeks, meski diblokir oleh robots.txt
    Hal tersebut memang sudah lama muncul di GSC. Cuman bingung cara mengatasinya bagaimana, semoga dengan langkah yang Mas Sugeng share bisa solved ya.

    Balas

      • idkholis

        Setelah saya pantau beberapa minggu, validasi Gagal mas dengan menerapkan Script Meta dan melakukan pengaturan di dashboard blogger.

        Balas

        • Mas Sugeng

          Ternyata file robots.txt perlu diubah mas. Panduan di atas sudah saya perbarui, silakan edit file robots.txt-nya setelah itu validasi ulang.

          Balas

          • idkholis

            Baik Mas
            robots.txt sudah aku perbaharui dengan menghilangkah /search pada Disallow.
            Perkembangannya akan saya report lagi.

  19. Arif

    Saya bukan pengguna template dri mas sugeng. Tapi berkat informasi diatas saya jadi paham. Terimakasih atas solusinya mas..

    Balas

  20. www.aubinesia.com

    Alhamdulillah akhirnya ada solusi diantara permasalahan kami. Para blogger indonesia. Thanks mas sugeng!

    Balas

  21. Akumuslim.web.id

    Mas kalau ditemukan tetapi tidak diindeks, apa yang harus diperbuat ya ? Mohon petunjuknya

    Balas

    • Mas Sugeng

      Cek URL mana saja yang ditemukan tetapi tidak diindeks.

      Jika tidak ada URL postingan, maka cukup dibiarkan saja.

      Tapi jika ada URL postingan, gunakan fitur inspeksi URL untuk meminta pengindeksan ulang pada URL yang ditemukan tetapi tidak diindeks.

      Balas

  22. TB

    Artikel saya kok masih sepi penonton ya. Padahal udah pake artikel trending. Alasannya kenapa ya mas ?

    Balas

  23. Putra Jy

    Sudah menaruh kode itu dibawah tapi error Diindeks, meski diblokir oleh robots.txt masih belum hilang, validasi ulang tanggal 27 april selesai tanggal 2 mei tpi hasilnya gagal. ada solusi lain gak ya mas ?

    Balas

    • Mas Sugeng

      Coba aktifkan custom robots.txt, gunakan kode robots.txt ini:

      User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml

      Kode meta robot yang sudah terpasang jangan dihapus.

      Balas

  24. galuh

    Terimakasih Mas Sugeng informasinya. Kemarin saya juga dapat informasi ini dari Search Console, pesannya seperti ini > Google telah memvalidasi perbaikan yang Anda lakukan untuk masalah Cakupan di situs paketcampingjogja.blogspot.com. Masalah spesifik yang divalidasi adalah ‘Diindeks, meski diblokir oleh robots.txt’.

    1 halaman di situs Anda divalidasi sebagai telah diperbaiki.

    Balas

  25. sahrulamrdn

    Terima kasih mas, semua masalah blog saya terselesaikan berkat bantuan mas sugeng. Semoga sampean selalu diberikan kesehatan.

    Balas

  26. afiq

    mas mau tanya,aku pake linkmagz, udah ngikutin cara anda ,soalnya 3 artikel ku kena diindek meski robot txt..berapa hari biasanya validasinya

    Balas

  29. nyi Penengah Dewanti

    allhamdulillah dapet tips dari Om Sugeng
    kemarin blogku ada yang begitu om, ini tak coba setting
    semoga berhasil makasih Om

    Balas

  30. Mochammad Rokim

    maaf mas,itu robots.txt khusus atau robots.txt kustom karena yang ada itu ads.txt kustom dan robots.txt khusus

    Balas

  37. zunkarnaim

    mas saya kalau indeks artikel di webmaster tools lalu saya cek di google artikel juga belum muncul, sudah saya tunggu sampai 2 minggu lebih tetap saja nda keindeks google.

    kira kira masalahnya apa yah

    Balas

    • Mas Sugeng

      Cek menggunakan menu Inspeksi URL di Search Console. Jika tidak ada peringatan error maka tidak ada yang perlu diperbaiki.

      Memang terkadang indexnya bisa lama, terutama untuk blog yang masih relatif baru.

      Balas

  39. SANDI OKTA PRAYOGA

    Di-crawl – saat ini tidak diindeks
    Apabila yang muncul url rss feed = dibiarkan saja

    Pertanyaan:
    Apabila yang muncul rata-rata url postingan solusinya gmn mas?

    Balas

  40. Maksum

    Mas Sugeng, saya pengguna Vio toko, dan saya pasang form seperti pada Panduan halaman 3.
    Bagaimana cara melihat daftar tamu yang mengisi form tersebut?

    Balas

  42. BIDM4A

    Ketemu juga panduannya. Blog musik saya sering kena nih yang beginian.

    Terima kasih banyak Mas Sugeng 🙏🏼

    Balas

  44. kholis

    kalau peringatan di GSC berupa kesalahan pengalihan itu bagaimana mas, diabaikan atau harus diperbaiki? mohon pencerahan dan solusinya

    Balas

  46. sahrilku

    izin tanya mas, Penyebab URL dianggap tidak baik
    URL dengan masalah ini tidak memberikan pengalaman halaman yang baik. apa maksudnya mas, ini di data web inti gsc

    Balas

  48. eko

    pada bagian penjelasan artikel:
    Di-crawl – saat ini tidak diindeks
    Notifikasi ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

    yang menjadi permasalahan saya, ternyata bukan hanya url rss feed saja kejadiannya. Ada banyak post artikel saya yang juga mengalami error (Di-crawl – saat ini tidak diindeks)

    Berhubung diartikel yang anda tuliskan ini tidak dijelaskan langkahnya, lantas bangaimana penanganan yang harus saya lakukan? Terimakasih

    Balas