Diindeks meski diblokir oleh robots.txt di Blogger, Apa Penyebabnya?
Postingan ini saya tulis untuk menjawab pertanyaan yang cukup sering ditanyakan oleh pelanggan template blogger premium milik saya, yaitu mengenai permasalahan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.
Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.
Langsung saja ke topik pembahasan.
Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”
Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.
Sedangkan di blogger sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindex di mesin pencari.
Halaman tersebut adalah halaman pencarian dan halaman label.
Pada file robots.txt tersebut tertulis perintah :
Disallow: /searchPerintah tersebut berfungsi untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali dengan /search setelah alamat blog.
Nah URL yang diawali dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk
Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb
Selain untuk halaman label dan pencarian, URL yang diawali dengan /search juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7
Terus bagaimana cara mengatasinya?
Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.
1. Cara Pertama
Cara paling gampang adalah dengan menghapus perintah Disallow: /search di file robots.txt menggunakan fitur custom robots.txt di blogger.
Dengan cara ini bisa menghilangkan peringatan diindeks meski diblokir oleh robots.txt di google search console.
Tapi dampak buruknya halaman label dan pencarian masih tetap bisa terindex di halaman pencarian.
Umumnya kita tidak ingin halaman label dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.
2. Cara Kedua
Cara kedua adalah dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.
Saat ini Google masih mendukung tag header robot, dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.
Untuk memasang tag header robot ini sebenarnya/seharusnya bisa dilakukan secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di blogger.
Ketika pelanggan template blogger premium milik saya menanyakan permasalahan ini, saya biasanya menyuruh untuk mengatur setelan “Tag tajuk robot khusus.”
Tapi entah kenapa terakhir saya cek fitur “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis muncul tag header robot noindex di halaman arsip, label, dan pencarian.
Karena cara tersebut sudah tidak lagi bekerja, maka alternatifnya bisa dengan memasang tag meta robot langsung di dalam template.
Caranya bagaimana, Mas?
Langsung saja salin kode di bawah ini :
<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>Letakan kode tersebut tepat di bawah kode <head> di dalam template.
Langkah selanjutnya, sobat juga harus mengapus perintah Disallow: /search pada file robots.txt.
Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Untuk cara menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Klik pada robots.txt kostum, setelah itu masukkan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://linkmagz.sugeng.id/sitemap.xml
Note: ganti linkmagz.sugeng.id dengan alamat blog sobat.
Jangan lupa klik “Simpan“
Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul notifikasi-notifikasi lainnya.
Notifikasi lain selain “Diindeks meski diblokir oleh robots.txt” biasanya bukan bersifat sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.
Berikut adalah beberapa notifikasi yang paling umum:
Anomali crawling
Notifikasi ini muncul biasanya karena ada URL postingan yang awalnya sudah terindex di mesin pencari namun sudah dihapus di blog.
Cara mengatasinya bagaimana, Mas?
Bisa dibiarkan saja atau jika sobat risih sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di blogger.
Cara menggunakan fitur pengalihan khusus bisa dibaca di sini : Cara SEO Blogger.
Di-crawl – saat ini tidak diindeks
Notifikasi ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Mas?
Cek daftar URL yang mendapatkan notifikasi ini. Jika sebagain besar adalah URL RSS feed maka cukup biarkan saja.
URL RSS feed contohnya seperti ini:
https://viomagz.sugeng.id/feeds/posts/default
https://viomagz.sugeng.id/feeds/273523674801878748/comments/default
Halaman alternatif dengan tag kanonis yang tepat
Notifikasi ini muncul karena adanya URL versi mobile dengan parameter ?m=1 di belakang URL.
Ketika sobat mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan paremeter ?m=1.
Di blogger otomatis menambahkan tag canonical (kanonis) pada halaman/postingan dengan parameter ?m=1.
Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.
Cara mengatasinya bagaimana, Mas?
Ini normal, cukup biarkan saja.
Dan notifikasi lainnya
Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi tersebut sebagian besar sifatnya bukan peringatan.
Selama notifikasinya bukan sebuah peringatan atau warning, maka sobat tidak perlu terlalu khawatir. Cukup dibiarkan saja apa adanya.
Mungkin hanya sampai di sini saja postingan saya kali ini.
Jika ada pertanyaan silakan disampikan melalui komentar.
Terima kasih.
