Apa itu Robots.txt , Pengertian Robots.txt

Apa itu Robots.txt ? apakah seperti layaknya Arnold schwarzenegger di film Terminator ? jawabannya salah besar . Yang dimaksud Robots.txt disini bukanlah Robot seperti yang ada di film2 melainkan sebuah file yg berguna untuk mengatur alur Robot mesin pencari (search engine) pada situs kita.
File ini bisa mengontrol mana yang akan di index mesin pencari dan mana yg tidak boleh di index oleh mesin pencari .
Sebenarnya Robots.txt hanya sebuah opsional dan tidak sepenting Title atau Url dalam masalah optimasi Search Engine , tapi dengan robots.txt kita bisa mengatur mana yang boleh di index dan mana yang tidak boleh. dan kita juga bisa menghindari duplikasi konten .

Alur dalam Robots.txt
File robots.txt sendiri hanya berupa file teks biasa tapi harus di beri nama robots.txt 
seperti ini contohnya :

User-agent: *     
Disallow: /cgi-bin
Dimana User-agent: adalah menentukan mesin pencari apa saja yang diizinkan 
mengindex halaman.
Tanda * berarti semua mesin pencari diizinkan atau bisa mengindex halaman web kita.
Disallow: adalah menentukan bagian yang tidak dapat di index .
Allow: adalah menentukan bagian yang bisa diindex.
jadi dalam hal itu Disallow: /cgi-bin adalah tidak mengizinkan mesin pencari untuk 
mengindex direktori cgi/bin pada direktori root domain untuk tidak diindex.
Jadi demikian tadi kurang lebih nya pengertian dari Robots.txt
semoga membantu dari penjelasan tadi .

2Coment :

  1. wah.. mantab artikelnya sob.. jd tau apa itu robot.txt ^^

    minta komentar jga ya di http://dopind.blogspot.com/2012/03/asus.html ^^

    BalasHapus
  2. wah tp kok d pengaturan ad opsi aktifkan robot.txt katany bahaya sob? mungkin bisa d bales komentar sy d blog sy :)

    BalasHapus