Cara Mengatasi URL Dicekal Robot.txt - Pada kali ini saya akan membahas bagaimana cara mengatasi url yg di cekal robot.txt atau menghapus pencekalan url robot.txt. Blog baru sering mengalami kejadian di mana ada url dicekal robot.txt. Ini akan berdampak besar pada hasil pencarian google akan konten blog anda. Dimana konten tidak akan di akses ada di crawl oleh robot.txt karena ada perintah untuk tidak mengakses konten tersebut. Url di cekal robot.txt dapat dilihat melalui webmaster tool. Pada halaman webmaster, pilih menu perayapan kemudia pilih url yg dicekal. Pada halaman tersebut akan nampak jumlah url konten blog anda yg dicekal oleh robot.txt. Bagaimana cara mengatasi url yg dicekal robot.txt, simak penjelasannya di bawah ini.
Cara Mengatasi URL Dicekal Robot.txt
Pada dasarnya format robot.txt ketika anda baru memulai blog akan terlihat seperti di bawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://typepedia.blogspot.com/feeds/posts/default?orderby=updated
Tag Disallow di atas memerintahkan robot.txt untuk tidak mengakses halaman seperti /search/label/blogger dan halaman lain yg sama. Nah bagaimana cara mengatasi URL yg dicekal robot.txt simak caranya.
- Login ke akun blogger anda.
- Pada dashboard pilih menu setelan > Preferensi penelusuran
- Pada kolom Perayap dan pengindeksan,
- Klik Edit pada robots.txt khusus.
- Masukan kode dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://tapike.com/feeds/posts/default?orderby=updated
- Kemudian klik simpan
Tulisan yg berwarna merah silahkan anda ubah dengan url blog anda. Pada kode di atas kita hanya menghilang tag /search. Dalam 2 hari kemungkinan url yg dicekal akan terindeks kembali. Demikianlah ulasan saya mengenai cara mengatasi url yg di cekal robot.txt atau cara menghapus pencekalan url robot.txt. Semoga artikel ini dapat bermanfaat bagi kita semua.
Posting Komentar