Definisi, Kegunaan dan Cara Membuat Robots.txt

October 14, 2008 · Filed Under SEO, Tips 

Beberapa hari yang lalu, saya ketemu teman saya di Yahoo! chat. Setahu saya, beliau sudah cukup lama berkecimpung di dunia webmaster. Maka dari itu, saya selalu senang berbincang dengannya tentang masalah-masalah internet dengannya.

Saat chatting, dia bertanya

Bagaimana cara submit ke Search Engine? Lu biasanya pake software apa?

Pertanyaannya agak ngga nyambung dengan bayangan saya. Pake software? Hmmm… Maka dari itu saya pastikan dulu bahwa maksudnya adalah Search Engine Submission, bukan Link Directory submission atau sejenisnya. Akhirnya setelah pasti bahwa yang dia maksud adalah Search Engine Submission, maka saya akhirnya me-refer ke artikel ini.

Ternyata dia ngga terima karena artikel tersebut sangat spesifik untuk blog. Akhirnya, setelah saya cek whois nya, ternyata sudah berumur hampir 1 tahun. Hmm… jika tidak di blok oleh Robots.txt, maka pasti isi website tersebut sudah ada di index search engine.

Saya bilang, sebaiknya dia cari tahu dulu halaman mana saja yang sudah di index oleh search engine. Caranya dengan mengetik www.google.com, kemudian masukkan alamat ini ke search form:

site:www.websiteanda.com

(Contoh index BloggersGuideToSEO di Google ada disini).

Jika halaman yang di index sedikit atau tidak ada sama sekali, pastikan dulu apakah ada robots.txt, karena teman saya ini tidak menahu tentang instalasinya, karena website itu sendiri adalah hasil serah terima dari webmaster lain.

Cara mengetahui apakah website anda ada robots.txt adalah dengan mengetik:

www.domainanda.com/robots.txt.

Jika ada file yang keluar, maka berarti sudah ada jika 404 error berarti belum ada.

Ternyata robots.txt nya belum ada. Ok, saya sarankan, sebelum jauh, lebih baik buat saja robots.txt untuk memastikan Search Engine tidak dilarang masuk ke website nya.

Dia tanya, apaan tuh robots.txt? Kenapa buat sendiri? Bukannya Search Engine akan membuatkan website kita robots.txt?

Well… Robots.txt tidak dibuat sendiri oleh Search Engine dan dimasukkan ke server kita. Tapi jika tidak ada Robots.txt, biasanya memang Search Engine akan meng-index seluruh directory website anda. Ok. Definisi robots adalah sebagai berikut:

Robots.txt protocol atau robot exclusion standard, juga dikenal sebagai Robots Exclusion Protocol, adalah sebuah sistem protokol standar yang digunakan untuk membatasi web spider atau membolehkan crawler dan segala jenis web robot untuk mengakses bagian-bagian dari sebuah website. Robots ini digunakan oleh search engine untuk mengkategorikan dan mengumpulkan data dari sebuah website.

Sebenarnya untuk blog WordPress (yang self-hosted, bukan di WordPress.com), jika tidak ada URL yang ingin di block, cara membuat robots.txt sangat mudah.

  • Copy dan paste code di bawah ini ke notepad:

    • User-agent: *
    Disallow:

  • Save as sebagai ‘robots’ (tanpa quote).
  • FTP file tersebut ke roots folder anda (biasanya public_html/)
  • Cek dengan mengetik www.domainanda.com/robots.txt
  • Jika ada code seperti diatas, berarti anda sudah selesai.
Untuk mengecek apakah robots anda tidak mem-block directory manapun di website anda, maka anda dapat mengecek nya dengan menggunakan Google Webmaster account anda.
  • Login ke Google Webmaster account anda.
  • Klik Tools
  • Klik Analyze Robots.txt
  • Paste code robots.txt anda di kotak form pertama.
  • Copy sitemap anda (anda bisa membuatnya dengan menggunakan software gratis ini) dan paste URL-nya website ada di form dibawah tulisan Test URLs against this robots.txt file.
  • Akan terlihat apakah ada URL yang di block atau tidak.
Jika ingin lebih spesifik, anda bisa menggunakan robots.txt dengan menggunakan tool di dalam Google Webmaster account anda. Caranya login ke account Google Webmaster, klik domain yang anda akan kelola, klik Tools dan klik Generate Robots.txt.
Di langkah satu pastikan anda Allow All Robots, kemudian pilih Action. Yang perlu dimengerti adalah bawah Allow = membolehkan search engine spider meng-index direktori di website anda, dan Block adalah melarangnya untuk mengindex direktori tertentu. Pilih direktori yang anda ingin Allow dan Block, save robots.txt dan ftp ke root folder anda.
Waktu itu teman saya agak puyeng, mudah-mudahan anda tidak. Semoga berguna.

Tags:

Comments

53 Responses to “Definisi, Kegunaan dan Cara Membuat Robots.txt”

  1. shaniago on November 15th, 2008 9:56 am

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Noindex: /feedReaderJson

    kalo kodenya gini artinya apa ya?
    soalnya blog saya gak muncul2 di google sih…

  2. Robin Malau on November 15th, 2008 11:49 am

    Shaniago,

    Kalau kamu pake Blogger.com, setahu saya kamu ngga punya kontrol untuk content dan folder2 website/blog kamu, termasuk Robots.txt. Jadi, Robots yang ada di blog kamu itu Google sendiri yang buat.

    Untuk mengecek blog kamu sudah ada di Google atau belum, login ke Google Webmaster account kamu, lihat apakah sudah di index atau belum oleh Google.

    Untuk mengecek apakah robots tidak mem-block directory manapun di website kamu, ikuti langkah-langkah di postingan di atas.

    Oh by the way saya hapus link ke daily mp3 kamu ya, maaf saya ngga support download/warez website.

    Semoga membantu.

  3. arif ust on January 16th, 2009 3:59 pm

    Kunjungan Blog Regedit, Artikelnya bagus apalagi kata-katanya menarik menambah wawasan dan pengalaman saya trims ya…lanjutkan artikelnya saya tunggu. O iya… Boleh saya minta komentar dari teman untuk artikel di blog saya? Kalau Boleh Kunjungi blog saya ya hari ini saya baru posting artikel tolong komentarnya kalau bisa komentarnya berkaitan dengan artikel yang di pilih teman. Ini alamatnya : http://regedit.blog.telkomspeedy.com/ terima kasih banyak satu lagi kalau mau tuker link masukan saja link teman di Guest Book insya Allah swt besok langsung saya pasang link teman.

  4. arga on February 9th, 2009 11:51 am

    saya mau nanya nich..???
    cara bikin tag/meta tag/robot.txt dimana fungsinya untuk merefresh crawler agar website trsbt fresh lagi dan bisa crawler lagi… (alias update website yg sallu update)…???

    tolong dong bingung nich..???

  5. Robin Malau on February 9th, 2009 12:10 pm

    Setahu saya, Robots hanya dibuat untuk ‘memberi ijin’ pada robot crawler untuk meng-index website kita, sementara meta tag untuk mengenali kata kunci utama halaman tertentu website kita. Keduanya tidak mempengaruhi kapan crawlerdatang dan kerja di website kita.

    Untuk volume crawling mereka, yang pasti dasar-dasarnya:

    1. Website harus sering di update. Crawler senang dengan content baru.
    2. Submit website ke Google Webmasters dan Yahoo!.
    3. Verifikasi, buat dan submit Sitemap.
    4. Untuk Google, kita bisa set Crawl rate, yaitu seberapa sering crawler datang ke website. Yahoo! setahu saya ngga bisa.

    Semoga membantu

  6. bagaswaras on February 12th, 2009 6:49 am

    Salam kenal..

    Mas, saya baru aktifkan plugin google sitemap..pada bagian update notification dari settingnya muncul tulisan sepeti ini :

    File permissions: Error, robots.txt doesn’t exist and the directory is not writable.

    Itu artinya apa yah ? File apa yang permisionnya salah dan musti diganti..?

    terima kasih..maaf merepotkan

  7. Robin Malau on February 12th, 2009 10:31 am

    Hai Bagaswaras,

    Kedengerannya karena file permission. Tapi kayaknya masalahnya udah beres ya sekarang? Udah ada robots-nya tuh…

    Terimakasih.

  8. bagaswaras on February 18th, 2009 7:18 am

    kok masih belum berhasil ya mas…
    sekarang pesan errornya:
    # There was a problem writing your sitemap file. Make sure the file exists and is writable. Learn more
    # There was a problem writing your zipped sitemap file. Make sure the file exists and is writable. Learn more

    katanya disuruh bangun file sitemap.xml resp. sitemap.xml.gz secara manual..tapi saya gak tau caranya..

    terima kasih..

  9. bagaswaras on February 18th, 2009 8:43 am

    udah berhasil mas…ternyata tinggal bikin file kosong di notepad terus di save as sitemap.xml dan sitemap.xml.gz

    sitemap saya skrg dah beres….

    terima kasih bantuannya.. :D

  10. novita on March 10th, 2009 9:49 am

    terima kasih mas, saya udah numpang baca2 artikelnya mas, moga bermanfaat buat kita semua, sekali lagi makasih bangett ya…

  11. Robin Malau on March 10th, 2009 7:29 pm

    Sama-sama Novita.

  12. bloggergoblog on April 9th, 2009 11:01 am

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search

    Sitemap: http://bloggertoblog.blogspot.com/feeds/posts/default?orderby=updated

    itu kode robot.txt di blok sudah betul belum boss,..

    maksudnya Disallow: /search apaan tuh

  13. arton on April 20th, 2009 11:34 pm

    mas kalau mendaftar di 2 webmaster boleh kan? di webmasternya google dan msn.thanks, ditunggu infonya, btw lam kenal mas.

  14. Robin Malau on April 20th, 2009 11:54 pm

    boleh lah. jangan lupa masukin juga ke yahoo! lewat http://siteexplorer.yahoo.com login pakai account yahoo! kamu. cheers.

  15. Muslim on May 26th, 2009 8:13 am

    Artikel dan tanggapannya cukup jelas.

    Terima kasih

  16. Nifan Sunandar on July 10th, 2009 4:04 pm

    Punya blog dan di masukin ke webmaster google lihat kode2 kepala jadi puyeng

  17. Robin Malau on July 10th, 2009 4:15 pm

    Jangan bingung, konsen yang kamu butuh aja.

  18. fikri on July 17th, 2009 6:09 pm

    saya baru selesai membuat sitemap cape banget….tapi akhirnya diverifikasi google,,,selanjutnya apa sih kegunaannya teman?

  19. Robin Malau on July 17th, 2009 6:33 pm

    Buat ngasih petunjuk ke Google seperti apa struktur content website kamu. Kurang lebih seperti itu bro…

  20. ferry on July 21st, 2009 10:43 pm

    waduh mas ….saya binggung nie kenapa blog saya ngk kesearch dengan optimal di serach engine…
    coba cek blog saya mas di google dan lihat hasilnya mas…
    thank’s u b4

  21. arema on September 3rd, 2009 1:56 pm

    waduh kok aku bingung ya.. hehe

  22. cahngalasz on September 25th, 2009 8:01 pm

    Thanks artikelnya mas,untuk yang pake wp kekna ga perlu bingung2 dgn robots.txt dan sitemap karena ada bnyak plugin yg bisa otomatis membuat sitemap begitu kita membuat posting baru. Salam persahabatan dari NGALAS WORLD maen ke blog aku ya..Blog aku dofollow lho

  23. mbah gendeng on October 5th, 2009 10:01 am

    makasih y bos………..

  24. Toni on November 15th, 2009 4:21 am

    Aq kurang begitu ngerti. Tapi ntr aq pahami lagi,…

  25. software gratis on November 15th, 2009 12:35 pm

    thanks bos tutorial nya bagus banget

  26. wptemplate on November 27th, 2009 11:05 pm

    Banyak banget referensi artikel tentang robot.txt and smua gak ada yang sama alias beda-beda pembuatan file robot.txt’Nya. Kok ane jadi bingung mo pilih yang mana… kira-kira kalau di pakai semua (maksudnya; digabungin) referensi dari para master tu gmana ya ?

  27. yitnoku on November 27th, 2009 11:13 pm

    Bos… Blog ai kok di banned oleh blogger knp ya? katanya di anggap spam.. gmn cara pulihkannya ?

  28. cliquers on December 18th, 2009 1:37 am

    Artikel yang sangat bermanfaat banget..

  29. Sharing ilmu on December 28th, 2009 12:07 am

    wow thanks mas, saya cuma bingung upload robot.txt nya kmn tp skrg dah bisa ??
    abis spider ngindex smua nya ampe tag,script sgla di index itu sngat mengganggu buat saya akhir nya saya dissalow smua yg gag penting..
    Sharing ilmu

  30. itthonotthon on January 7th, 2010 3:08 am

    ai kurang faham nih masalah robots.txt

  31. ashlan on February 19th, 2010 1:32 pm

    menarik sekali.. utk web smuo gimana cara pasang robot.txt, ada yg bisa bantu. thanks.

  32. Hairstyles Design For Cool Men Haircuts on February 20th, 2010 8:04 pm

    Pusing aku, webku hilang dari peredaran google adsense, siapa yang bisa nolongin ya

  33. bams on March 8th, 2010 11:48 pm

    Informasi seperti ini yang nanti jadi inspirasi bagi semua orang, lanjutkan mas…

  34. anjrot on March 16th, 2010 3:03 pm

    great thanks for your infooo

  35. ularsawah on April 1st, 2010 6:55 pm

    Kalo memasang robot.txt di platfotm blogspot gmna caranya bang???

  36. Marketiva on April 5th, 2010 10:49 am

    Saya tidak tahu apakah di blog saya sudah ada robot atau belum. bisa dibantu mas?

  37. puter2 on May 8th, 2010 9:18 pm

    apa ga salah ne.. kalau kita tulis tek macam tu.. brati kita melarang pencarian robot di blog kita dan yang punya blog juga tidak mengizinkan.. coba kalin fahami dulu tulisannya.. follow dengan disallow.. :) :)

  38. Robin Malau on May 8th, 2010 10:29 pm

    Puter2, liat disini http://www.bloggersguidetoseo.com/robots.txt

  39. Nur on June 26th, 2010 12:35 pm

    Jd tambah puyenx soal robot.txt,soalya baru punya blog,jd lg cari2 info juga.skalian tanya,apa aktifasi crawler google bisa dipercepat,masa pengatifanya 3bulan.

  40. bisnis online tianshi on July 9th, 2010 8:47 pm

    matap artikelnya pak……..

  41. Nifan Sunandar on July 27th, 2010 3:33 pm

    Halo sob saya mau tanya sedikit, apa boleh membuat lebih dari satu sitemap misal atom.xml, rss.xml, feeds/posts/default? Ohya kenapa type sitemap blog saya di webmaster di deteksi typenya tidak diketahui, apa sebabnya dan bagaimana untuk memperbaikinya agar type menjadi atom lagi bukan unknown? Thanks!

  42. Ghufron on October 2nd, 2010 2:35 pm

    Terimakasih atas informasinya…Dulu saya pernah hapal, tapi karena udah lama gak ngoprek, jadi lupa lagi… Robot atau Robots hehehe..

  43. cekdot on November 2nd, 2010 3:19 pm

    infonya bagus mas, setelah saya cek punya saya nggak ada di google. tapi masih pusing gimana caranya menempatkannya di blogspot….. mohon pencerahannya. cekdot mas.

  44. Robin Malau on November 2nd, 2010 3:38 pm

    @Cekdot kalo Google’s Blogger rasanya ga usah dikasih robots.txt lagi deh, soalnya by default semua isinya udah pasti di index sama Google.

  45. eric jogja on December 19th, 2010 12:46 am

    terima kasih atas infonya, setelah saya cek punya saya terdapat error, mungkin saya belum bemasukkan robots txt ke blogger ? bagaimana memasukkannya ya
    salam

  46. eric jogja on December 19th, 2010 12:52 am

    oh salah mas ternyata punya saya sudah ada, cuma saya salah copy contoh yg anda buat *ww.domainanda.com/robots.txt. <dibelakang txt ada titiknya ikut ke copy ke url broser saya :)

  47. Hartono on December 19th, 2010 8:24 am

    blog anne http://www.hargablackberry.com kenapa pas pencarian di google munculnya menjadi lsw-proxy.appspot.com mohon pencerahan

  48. Choey on December 23rd, 2010 7:56 pm

    mantep infonya gan

  49. ardhy[dot]net on January 7th, 2011 5:48 pm

    informasi yang bagus

  50. bangkewok on January 25th, 2011 2:32 pm

    makasih mas atas informasinya,,akhirnya saya tidak bingung lagi

  51. safarudin on March 7th, 2011 9:54 am

    sangat membantu saya dalam menyelesaikan masalah yang saya hadapi saat ini. Penjelasnya cukup terperinci dan sangat mudah untuk di pahami. terimaksih atas bantuannya..

  52. Mediasiana on March 25th, 2011 12:32 pm

    thank mas bro sangat membantu sekali :)

  53. rivanx on April 13th, 2011 4:50 am

    jangan lupa

    # Disallow all directories and files within
    Disallow: /cgi-bin/
    Disallow: /stats/
    #Disallow: /tag/
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    # The Googlebot is the main search bot for google
    User-agent: Googlebot

    # Disallow all files ending with these extensions
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.tar$
    Disallow: /*.tgz$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$

    untuk tambahan silahkan di copy di robots.txt nya

Leave a Reply