Cara setting robots.txt Di setelan blogspot - Robots.txt
adalah sebuah file teks yang berfungsi
untuk menghentikan prosesi perayapan sebuah perangkat lunak. Dan biasanya robots.txt
ini dipergunakan apabila ada bagian situs yang tidak ingin diindeks oleh Google
atau oleh mesin pencari yang lain. Setiap blog dapat melakukan setting
robots.txt supaya dapat memblok bagian yang tidak ingin ditelusuri oleh Google,
akan tetapi jangan lupa dengan resiko yang harus di peroleh jika menggunakan cara
seperti ini. Penggunaan robots.txt ini fungsi utamanya adalah untuk mesin
telusur dari Googlebot dan perayap web yang lain yang sudah terpercaya.
Jadi dengan istilah lain, bahwa penggunaan file teks ini hanya bisa untuk sebagian besar mesin telusur dan tidak di peruntukan seluruh mesin telusur di dunia ini. Dan juga tidak secara tiba tiba bahwa penggunaan robots.txt ini pasti dapat memblokir alamat URL yang diinginkan, karena masih bisa terjadi kemungkinan yang lain misalnya kemungkinan terbuka URL bisa dicrawl dari website yang lain. Kecuali melakukan metode lain misalnya pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.
baiklah, kembali ke cara setting robot txt, jika Anda menginginkan / mengatur robots.txt maka saya akan share agar Anda dapat menggunakanya di blog Anda. Akan tetapi Perlu diketahui bahwa jika settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.
Jadi dengan istilah lain, bahwa penggunaan file teks ini hanya bisa untuk sebagian besar mesin telusur dan tidak di peruntukan seluruh mesin telusur di dunia ini. Dan juga tidak secara tiba tiba bahwa penggunaan robots.txt ini pasti dapat memblokir alamat URL yang diinginkan, karena masih bisa terjadi kemungkinan yang lain misalnya kemungkinan terbuka URL bisa dicrawl dari website yang lain. Kecuali melakukan metode lain misalnya pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.
baiklah, kembali ke cara setting robot txt, jika Anda menginginkan / mengatur robots.txt maka saya akan share agar Anda dapat menggunakanya di blog Anda. Akan tetapi Perlu diketahui bahwa jika settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Dan jika anda ingin mencegah laman yang tidak ingin di craw bisa dilakukan dengan cara menambahkan " Disallow : "
Contoh :
Disallow : /p/about.html
Maka url /p/about.html akan diblok oleh robots.txt
dan settingan bisa dilakukan dengan masuk ke menu blogger -> setelan -> preferensi penelusuran seperti gambar di bawah ini :
Jika menginginkan settingan default maka jangan klik "ya" , dan bila ingin membatasi craw url yang lain Anda harus mengklik "ya" dan tuliskan di bidang kosong setelah itu klik simpan perubahan.
saya sarankan Berhati-hatilah dalam membuat settingan robots.txt ini , karena jika salah membuatnya maka blog anda akan diabaikan oleh mesin telusur.
mungkin itu saja yang bisa saya cantumkan tentang cara mengatur settingan robot yang terdapat pada blog anda, yang serin kita kenal robots.txt, semoga dapat memberikan manfaat untuk kita semua.
Tag :
eksperimen,
Tips
