![\"\"](\"https:\/\/www.jetorbit.com\/blog\/wp-content\/uploads\/2025\/03\/Penerapan-Robots.txt-yang-Benar-pada-Website-Sesuai-dengan-Panduan-Google.jpeg\")
<\/a><\/figure>\n\n\n\nRobots.txt<\/a> adalah sebuah file teks sederhana yang ditempatkan di root direktori sebuah website. File ini digunakan untuk memberi instruksi kepada bot mesin pencari tentang halaman atau bagian mana dari situs yang boleh atau tidak boleh di-crawl.<\/p>\n\n\n\n Mesin pencari <\/a>seperti Googlebot, Bingbot, dan lainnya akan membaca file robots.txt sebelum melakukan proses crawling. Jika ada instruksi untuk tidak mengindeks halaman tertentu, maka bot akan mengikuti perintah tersebut\u2014meskipun ada pengecualian dalam beberapa kasus tertentu.<\/p>\n\n\n\n Penggunaan robots.txt yang benar dapat memberikan beberapa manfaat bagi sebuah website, di antaranya:<\/p>\n\n\n\n File robots.txt memiliki beberapa aturan dasar yang harus dipahami:<\/p>\n\n\n\n Contoh format dasar robots.txt:<\/p>\n\n\n\n Penjelasan dari contoh di atas:<\/p>\n\n\n\n Google<\/a> memiliki beberapa panduan dalam penggunaan robots.txt agar tidak menghambat proses crawling dan indexing yang seharusnya. Berikut beberapa hal yang perlu diperhatikan:<\/p>\n\n\n\n Google harus dapat mengakses file robots.txt agar dapat memahami instruksi yang diberikan. Untuk memastikan file ini dapat diakses, bisa dilakukan pengecekan dengan membuka Kesalahan umum yang sering terjadi adalah mencoba menggunakan robots.txt untuk menyembunyikan halaman yang berisi data sensitif, seperti halaman login atau informasi pribadi. Ingat, robots.txt hanya memberi instruksi kepada bot agar tidak mengindeks halaman tersebut, tetapi halaman masih dapat diakses secara langsung oleh siapa saja.<\/p>\n\n\n\n Jika ingin menyembunyikan halaman secara aman, lebih baik gunakan metode lain seperti proteksi password atau pengaturan noindex dengan meta tag.<\/p>\n\n\n\n Jangan sembarangan menggunakan Contoh kesalahan:<\/p>\n\n\n\n Aturan ini akan melarang semua bot untuk mengakses seluruh website, yang berakibat website tidak akan muncul di hasil pencarian sama sekali.<\/p>\n\n\n\n Jika benar-benar ingin memastikan halaman tidak diindeks oleh mesin pencari, sebaiknya gunakan kombinasi robots.txt dengan meta tag Contoh meta tag noindex yang bisa ditambahkan ke dalam Menambahkan path sitemap di robots.txt bisa membantu Google menemukan halaman yang ingin diindeks lebih cepat. Ini adalah praktik yang direkomendasikan oleh Google agar proses crawling lebih efisien.<\/p>\n\n\n\n Contoh:<\/p>\n\n\n\n Setelah menerapkan robots.txt, lakukan pengecekan menggunakan Google Search Console. Di sana terdapat fitur khusus untuk menguji robots.txt dan melihat apakah ada kesalahan yang dapat mempengaruhi performa pencarian website.<\/p>\n\n\n\n Google menyarankan agar elemen-elemen penting seperti file CSS dan JavaScript tidak diblokir melalui robots.txt. Jika elemen ini diblokir, bisa saja Google tidak dapat merender halaman dengan benar, sehingga berdampak pada peringkat pencarian.<\/p>\n\n\n\n Kesalahan umum yang perlu dihindari:<\/p>\n\n\n\n Pastikan tidak memblokir direktori yang mengandung file penting yang diperlukan untuk merender halaman dengan baik.<\/p>\n\n\n\n Robots.txt adalah alat yang sangat berguna untuk mengontrol bagaimana bot mesin pencari mengakses website. Namun, jika tidak diterapkan dengan benar, bisa berdampak buruk pada performa SEO<\/a>.<\/p>\n\n\n\n Beberapa poin utama dalam penerapan robots.txt yang benar sesuai dengan panduan Google:<\/p>\n\n\n\n Dengan menerapkan aturan ini, website dapat lebih optimal dalam pencarian Google dan menghindari kesalahan yang bisa menghambat performa SEO.<\/p>\n\n\n\n Bagi Kamu Yang ingin develop Website Maupun Aplikasi Dan membutuhkan Server hosting yang handal, Silahkan bisa mengunjungi halaman\u00a0jetorbit<\/a>\u00a0untuk mendapatkan Promo hosting dan Domain murah, mulai dari 12rb.<\/p>\n","protected":false},"excerpt":{"rendered":" Dalam dunia optimasi mesin pencari (SEO), robots.txt adalah salah satu file penting yang sering kali diabaikan. Padahal, jika digunakan dengan benar, file ini bisa membantu mengarahkan crawler mesin pencari untuk mengindeks halaman yang memang diinginkan dan menghindari halaman yang seharusnya tidak tampil di hasil pencarian. Lalu, Penerapan Robots.txt yang Benar pada Website Sesuai dengan Panduan … Read more<\/a><\/p>\n","protected":false},"author":8,"featured_media":17298,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"generate_page_header":"","footnotes":""},"categories":[6002],"tags":[6827,1428],"class_list":["post-17297","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-tutorial","tag-google","tag-seo","infinite-scroll-item","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-33"],"_links":{"self":[{"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/posts\/17297","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/comments?post=17297"}],"version-history":[{"count":1,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/posts\/17297\/revisions"}],"predecessor-version":[{"id":17300,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/posts\/17297\/revisions\/17300"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/media\/17298"}],"wp:attachment":[{"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/media?parent=17297"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/categories?post=17297"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.jetorbit.com\/blog\/wp-json\/wp\/v2\/tags?post=17297"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Mengapa Robots.txt Penting?<\/h2>\n\n\n\n
\n
\n
\n
\n
Struktur Dasar Robots.txt<\/h2>\n\n\n\n
\n
User-agent: *\nDisallow: \/admin\/\nDisallow: \/wp-login.php\nAllow: \/blog\/\nSitemap: https:\/\/www.contohwebsite.com\/sitemap.xml<\/code><\/pre>\n\n\n\n\n
*<\/code>) mengikuti aturan ini.<\/li>\n\n\n\n\/admin\/<\/code> dan halaman login \/wp-login.php<\/code> tidak boleh diakses oleh bot.<\/li>\n\n\n\n\/blog\/<\/code> tetap boleh diakses.<\/li>\n\n\n\nPanduan Penerapan Robots.txt yang Benar Sesuai Google<\/h2>\n\n\n\n
1. Pastikan File Robots.txt Bisa Diakses<\/h3>\n\n\n\n
https:\/\/www.namadomain.com\/robots.txt<\/code> pada browser.<\/p>\n\n\n\n2. Jangan Gunakan Robots.txt untuk Memblokir Halaman yang Harus Tetap Aman<\/h3>\n\n\n\n
3. Gunakan Perintah Disallow dengan Tepat<\/h3>\n\n\n\n
Disallow: \/<\/code> yang bisa memblokir seluruh website dari pencarian. Pastikan hanya halaman yang benar-benar tidak perlu diindeks yang ditutup menggunakan robots.txt.<\/p>\n\n\n\nUser-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n4. Gunakan Robots.txt Bersama dengan Meta Tag Noindex<\/h3>\n\n\n\n
noindex<\/code>. Robots.txt hanya mencegah crawling, sedangkan noindex<\/code> mencegah indexing. Cara ini lebih efektif untuk mencegah halaman muncul di pencarian Google.<\/p>\n\n\n\n<head><\/code> halaman yang ingin diblokir:<\/p>\n\n\n\n<meta name=\"robots\" content=\"noindex, nofollow\"><\/code><\/pre>\n\n\n\n5. Cantumkan Link ke Sitemap.xml<\/h3>\n\n\n\n
Sitemap: https:\/\/www.contohwebsite.com\/sitemap.xml<\/code><\/pre>\n\n\n\n6. Gunakan Google Search Console untuk Memeriksa Robots.txt<\/h3>\n\n\n\n
7. Hindari Pemblokiran CSS dan JavaScript yang Dibutuhkan<\/h3>\n\n\n\n
User-agent: *\nDisallow: \/wp-content\/themes\/\nDisallow: \/wp-includes\/<\/code><\/pre>\n\n\n\nKesimpulan<\/h2>\n\n\n\n
\n