Masalah diatas kadang diabaikan oleh beberapa blogger, karena sebenarnya membuat Robots.txt menjadi valid penting.
Pengertian Robot.txt
Robot.txt adalah sebuah file yang berguna untuk membatasi penulusuran robot mesin pencari seperti: Google.com Bing.com yahoo.com Yang sedang menjelajahi blog yang sobat punya. Sebelum mereka menjelajahi blog anda, dia akan memeriksa blog untuk melihat apakah di dalam blog sobat terdapat sebuah file Robot.txt. dan mesin pencari itu juga memeriksa folder di dalam Robot.txt apakah ada perintah pengindekkan atau tidak. yang bertujuan untuk mencegah mereka mengakses halaman tertentu yang berada di blog.
Tujuan Pemasangan Robot.txt
Tujuan pemasangannya adalah agar robot - robot mesin pencari itu tidak mengindeks halaman di search engine Google, Bing, Yahoo dll yang tidak anda inginkan
Langkah-langkah membuat robots.txt valid :
- Kunjungi website Kunjungi website http://tool.motoricerca.info/robots-checker.phtml
- Lalu disana anda tulis nama blog dikotak yang tersedia seperti ( http://www.namablog.com/robots.txt )
- Jika anda mendapati beberapa error seperti di bawah ini maka anda perlu mengatur robot.txt yang sobat pakai.
WARNING: The tool has found some directory paths that don't include a trailing slash character. Since a missing trailing slash can be both a deliberate decision or an error, and since this tool can't ipotize the real intentions of the webmaster, here follow some clarifications that could prevent a potential problem:- dan secara default biasanya robots.txt blogger begini:
The following command will disable just the directory "private" and all its contents:
Disallow: /private/
...while the following command will disable both the "private" directory and any file or directory path starting with the text "/private" (so "/private-eye.html", "/privateroom/page.html", etc.):
Disallow: /private
Please be sure to use the correct syntax, according to your needs.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
- Kesalahan robots txt adalah pada kata Allow:/ yang saya warnai merah, dan untuk memperbaikinya anda cukup masuk Blogger
- Lalu klik Setelan dan klik Robots.txt
isi dengan kode dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
Setelah itu simpan perbuhan tersebut, kemudian cek kembali robot.txt sudah valid atau belum?
jika sudah maka anda sudah berhasil.
Artikel ini ditulis oleh: Wisnu Gilang Aditya
Hai, Nama saya Wisnu Gilang Aditya dari cianjur Jawa Barat, saya sekarang adalah seorang pelajar dari SMPN2 Karang Tengah Cianjur.