 |
| Ilustrasi* Custom Robots.txt Blogger SEO |
Robots.txt adalah file teks yang digunakan untuk memberi tahu robot search console (seperti Googlebot) apa yang boleh dan tidak boleh mereka indeks di situs web kita. File ini terletak di direktori root situs web dan memiliki ekstensi .txt.
Mengedit robots.txt dapat membantu untuk meningkatkan kualitas SEO situs web kamu, karena file ini dapat mengontrol apa yang dapat dilihat/diindex oleh mesin pencari. Dengan mengedit robots.txt, kamu dapat mencegah mesin pencari mengindeks halaman atau konten tertentu di situs web yang kamu kelola.
Apa yang Harus Diedit di Robots.txt Blogger?
Berikut adalah beberapa hal yang dapat kamu edit di robots.txt Blogger untuk meningkatkan SEO:
- Halaman yang tidak ingin kamu indeks
Jika kamu memiliki halaman di situs web yang tidak ingin di indeks oleh mesin pencari, kamu dapat memblokir akses mesin pencari ke halaman tersebut dengan cara menambahkannya ke file robots.txt. Misalnya, jika kamu memiliki halaman tentang kebijakan privasi dan tidak ingin halaman tersebut ada di google, maka kamu dapat memblokir halaman tersebut dengan menambahkan baris berikut ke file robots.txt:User-agent: *
Disallow: /privacy
- Konten yang tidak ingin kamu indeks
Selain halaman, kamu juga dapat memblokir konten tertentu dari mesin pencari (search engine) google dengan menambahkan path/url ke file robots.txt. Misalnya, jika kamu memiliki gambar yang tidak ingin di indeks oleh mesin pencari, kamu dapat memblokirnya dengan menambahkan baris berikut ke file robots.txt:User-agent: *
Disallow: /images/ - Halaman yang ingin kamu indeks lebih cepat
Jika kamu memiliki sebuah halaman yang ingin atau lebih diutamakan agar terindeks lebih cepat oleh mesin pencari, kamu dapat menambahkan halaman tersebut ke file robots.txt dengan menambahkan baris berikut:User-agent: *
Allow: /blog/
Note* /blog/ merupakan path atau url halaman - Halaman yang ingin di indeks secara eksklusif oleh mesin pencari tertentu
Kamu tentu tahu terdapat beberapa mesin pencari yang tersedia seperti google, bing, yahoo, dan lain-lain. Jika kamu ingin mesin pencari tertentu mengindeks halaman web kamu, tetapi kamu tidak ingin mesin pencari lain mengindeksnya, kamu dapat menggunakan instruksi Allow: diikuti dengan nama mesin pencari.
Misalnya, jika kamu ingin Google mengindeks halaman di web kamu, tetapi kamu tidak ingin Bing mengindeksnya, kamu dapat menambahkan baris berikut ke file robots.txt:User-agent: Googlebot
Allow: /
Cara Mengedit Robots.txt Blogger
Untuk mengedit robots.txt Blogger, Kamu perlu masuk ke dasbor Blogger dan klik "Setelan/Settings". Scroll kebawah dan cari dibagian "Crawler dan pengindeksan/Crawlers and indexing", Kemudian sebelum mengedit file robot.txt, pastikan kamu sudah enable atau mengaktifkan "Aktifkan robots.txt khusus/Enable custom robots.txt", jika sudah klik menu "Robots.txt khusus/Custom Robots.txt" dan ubah sesuai custom yang kamu inginkan.
Di bagian "Robots.txt", Kamu akan melihat kode setelan robots.txt blog/web kamu saat ini. Kamu dapat mengubah kode ini sesuai kebutuhan.
Setelah selesai mengedit robots.txt, klik "Simpan/Save".
Tips Mengedit Robots.txt Blogger
Berikut adalah beberapa tips untuk mengedit robots.txt Blogger:
- Gunakan file cadangan
Sebelum mengedit robots.txt, sebaiknya buat file cadangan terlebih dahulu. Ini akan membantu kamu untuk memulihkan/mengembalikan setelan file robots.txt jika terjadi kesalahan. - Gunakan alat uji robots.txt
Setelah selesai mengedit robots.txt, sebaiknya uji file tersebut untuk memastikan bahwa mesin pencari memahami instruksi dari setelan/settingan yang telah kamu ubah. Kamu dapat menggunakan alat uji robots.txt online untuk melakukannya. - Perbarui robots.txt secara berkala
Seiring waktu, Kamu mungkin perlu memperbarui robots.txt yang telah ada, seperti untuk menambahkan ataupun menghapus instruksi. Pastikan untuk memperbarui robots.txt secara berkala untuk memastikan bahwa mesin pencari selalu memiliki informasi terbaru tentang situs web Kamu.
Kesimpulan
Mengedit robots.txt dapat menjadi cara yang efektif untuk meningkatkan SEO situs web Kamu. Dengan mengedit robots.txt, Kamu dapat mengontrol apa yang dapat dilihat oleh mesin pencari.
