Diindeks Meski Diblokir oleh robots.txt di Blogger, Penyebab dan Solusinya

sugeng
sugeng
•Tutorial Blogger•5 menit baca

Postingan ini saya tulis untuk menjawab pertanyaan yang cukup sering ditanyakan oleh pelanggan template blogger premium, yaitu mengenai permasalahan peringatan Diindeks meski diblokir oleh robots.txt di Google Search Console.

Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.

Langsung saja ke topik pembahasan.

Penyebab Peringatan “Diindeks meski diblokir oleh robots.txt”

Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.

Sedangkan di Blogger, sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindeks di mesin pencari. Halaman tersebut adalah halaman pencarian dan halaman label.

Robots.txt

File robots.txt default Blogger

Pada file robots.txt tersebut tertulis perintah:

Disallow: /search

Perintah tersebut berfungsi untuk memberi tahu mesin pencari supaya tidak mengindeks URL yang diawali dengan /search setelah alamat blog.

Nah, URL yang diawali dengan /search di Blogger digunakan untuk halaman label dan halaman pencarian.

Contoh URL halaman label: https://linkmagz.sugeng.id/search/label/Produk

Contoh URL halaman pencarian: https://linkmagz.sugeng.id/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang diawali dengan /search juga digunakan untuk menampilkan daftar postingan: https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7

Terus Bagaimana Cara Mengatasinya?

Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.

1. Cara Pertama

Cara paling gampang adalah dengan menghapus perintah Disallow: /search di file robots.txt menggunakan fitur custom robots.txt di Blogger.

Dengan cara ini, peringatan “Diindeks meski diblokir oleh robots.txt” di Google Search Console bisa hilang.

Tapi dampak buruknya, halaman label dan pencarian masih tetap bisa terindeks di halaman pencarian. Umumnya kita tidak ingin halaman label dan pencarian terindeks di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.

2. Cara Kedua

Cara kedua adalah dengan menggunakan tag header robot untuk memberi tahu Google supaya tidak mengindeks halaman label dan pencarian.

Saat ini Google masih mendukung tag header robot. Dengan kata lain, tag header robot tidak diabaikan seperti file robots.txt.

Untuk memasang tag header robot ini, sebenarnya/seharusnya bisa dilakukan secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di Blogger.

Ketika pelanggan template blogger premium milik saya menanyakan permasalahan ini, saya biasanya menyarankan untuk mengatur setelan “Tag tajuk robot khusus.”

Tapi entah kenapa, terakhir saya cek fitur “Tag tajuk robot khusus” di Blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis muncul tag header robot noindex di halaman arsip, label, dan pencarian.

Karena cara tersebut sudah tidak lagi bekerja, maka alternatifnya bisa dengan memasang tag meta robot langsung di dalam template.

Caranya bagaimana, Mas?

Langsung saja salin kode di bawah ini:

<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content='noindex, noarchive' name='robots'/>
</b:if>

Letakkan kode tersebut tepat di bawah kode <head> di dalam template.

Langkah selanjutnya, sobat juga harus menghapus perintah Disallow: /search pada file robots.txt. Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.

Untuk cara menghapusnya, silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > aktifkan fitur robots.txt kustom.

Klik pada robots.txt kustom, setelah itu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml

Note: ganti linkmagz.sugeng.id dengan alamat blog sobat.

Jangan lupa klik “Simpan“.

Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu, tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.

Beberapa Pesan Peringatan Lain

Selain peringatan “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul peringatan-peringatan lainnya.

Peringatan lain selain “Diindeks meski diblokir oleh robots.txt” biasanya bersifat normal dan tidak perlu dilakukan perbaikan. Artinya, meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.

Berikut beberapa peringatan yang paling umum:

Anomali crawling

Peringatan ini muncul biasanya karena ada URL postingan yang awalnya sudah terindeks di mesin pencari, namun sudah dihapus di blog.

Cara mengatasinya bagaimana, Mas?

Bisa dibiarkan saja. Atau jika sobat risih, sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di Blogger.

Cara menggunakan fitur pengalihan khusus bisa dibaca di sini: Cara SEO Blogger.

Di-crawl – saat ini tidak diindeks

Peringatan ini muncul biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

Cara mengatasinya bagaimana, Mas?

Cek daftar URL yang mendapatkan peringatan ini. Jika sebagian besar adalah URL RSS feed, maka cukup biarkan saja.

URL RSS feed contohnya seperti ini:

https://viomagz.sugeng.id/feeds/posts/default

https://viomagz.sugeng.id/feeds/273523674801878748/comments/default

Halaman alternatif dengan tag kanonis yang tepat

Peringatan ini muncul karena adanya URL versi mobile dengan parameter ?m=1 di belakang URL.

Ketika sobat mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan parameter ?m=1.

Di Blogger, secara otomatis ditambahkan tag canonical (kanonis) pada halaman/postingan dengan parameter ?m=1.

Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.

Cara mengatasinya bagaimana, Mas?

Ini normal, cukup biarkan saja.

Dan peringatan lainnya

Masih banyak peringatan-peringatan lainnya yang muncul di Google Search Console. Namun peringatan tersebut sebagian besar sifatnya bukan peringatan.

Selama peringatannya bukan sebuah warning error bertanda merah, maka sobat tidak perlu terlalu khawatir. Cukup dibiarkan saja apa adanya.

Mungkin hanya sampai di sini saja postingan saya kali ini.

Jika ada pertanyaan, silakan disampaikan melalui komentar.

Terima kasih.

Artikel Terkait