Setting Robots.txt

Pengertian Robots.txt 
Robots.txt adalah sebuah file dalam bentuk teks yang ditempatkan pada suatu web untuk menginformasikan kepada mesin pencari (search engine) agar tidak mendatangi halaman tertentu. Kita sangat memperlukan Robots.txt agar robot - robot tersebut tidak mengindex halaman yang tidak kita inginkan. 

Berikut Cara Setting Robots.txt di Blogger : 

1. Silahkan Login ke blogger anda
2. Masuk ke Dashboard
3. Pilih Settings
4. Lalu pilih "Search preferences"
5. Pada bagian Custom robots.txt, klik Edit
6. Kemudian silahkan copy teks berikut ini kedalamnya.

User-agent: Mediapartners-Google
Disallow:  

User-agent: *
Disallow: /search
Allow:

Sitemap: http://yoga.amien.blogspot.com/feeds/posts/default?orderby=updated 

Keterangan : Ganti yang berlatar hitam dengan URL anda.


Perhatian ! Gunakan cara ini dengan hati - hati, karena kalau salah dalam mengedit fitur robots.txt, blog anda akan di abaikan oleh mesin pencari. Sebagaimana yang tercantum dalam Crawlers and Indexing :

7. Klik Simpan/Save changes