Mengatasi URL Dicekal Robot Webmaster

CARA MEMPERBAIKI URL YANG DICEKAL ROBOT TXT WEBMASTER

Selamat Datang di Blog Orang IT . Postingan saya kali ini singkat saja mengenai bagaimana cara mengatasi dan memperbaiki url blog yang dicekal oleh robot txt pada laporan yang diberikan oleh google webmaster . Seperti kita tahu alat webmaster google merupakan tools seo gratisan yang disediakan google untuk memantau kesehatan dari situs blog yang ditautkan dari waktu-kewaktu

URL blog tang dicekal oleh robot webmaster secara otomatis tidak akan dirayapi apalagi dicrawl , jadi URL tersebut tidak ditampilkan dihasil penelusuran google 

Apasih robot txt

Robot txt merupakan bot online yang merayapi bagian terdalam dari sebuah situs yang menunjukkan mana tautan yang boleh dicrawl mana yang tidak , dengan robot txt akan membantu web crawl dalam proses index in kemesin pencari guna menghemat crawl budget dan memaksimalkan halaman postingan dibandingkan halaman tidak penting lainya

Melalui webmaster google kita bisa mengetahui beberapa penyebab error yang menghalangi bot google saat melakukan proses crawling , dan memperbaikinya saat itu juga nah berikut beberapa contoh error yang biasanya ditampilkan oleh webmaster

error 404 merupakan error halaman tidak ditemukan bisa berasal dari url yang sudah terindex google namun dihapus maupun kesalahan dalam pemberian link baik internal link maupun backlink yang mengarah pada laman kosong

error 503 merupakan kesalahan karena google gagal saat mengakses blog akibat server down atau gangguan , error ini asalnya murni dari penyedia hosting atau domain dampak buruknya saat google melakukan perayapan dan terjadi down seperti ini proses index akan tertunda ( komplain tuh penyedia domain atau hosting )

error 301 redirect pengalihan asalnya bisa dari iklan popup yang mengganggu atau redirect yang diterapkan secara sengaja untuk mengalihkan halaman kosong ke halaman lain misalnya homepage . Redirect yang tidak relevans menyebbakan situs terkena pinalti sneakyredirect

error sumber daya diblokir disebabkan oleh resource iklan maupun gambar yang diambil dari hosting lain dan kita tidak memverifikasikan kepemilikan , misalnya saat mengambil gambar dari wp self host kita tidak punya ijin untuk menggunakan resource gambar tersebut hasilnya url diblok oleh google dsb 

error duplikat title dan deskription biasanya karena masalah template dan settingan robot txt yang membuat terjadinya duplikat post dimesin pencari 

Semua solusi untuk masalah error diatas sudah saya bahas diblog ini tinggal yang belum saja mengenai error karena url dicekal oleh robot

Coba anda masuk ke google webmaster dibagian Google index - status index disana anda bisa lihat berapa jumlah url blog anda yang sudah terindex dan berapa jumla url yang terindeks tapi dicekal

Berikut contoh keliru dalam mengatasi url blog yang dicekal oleh robot txt

1. Mengedit robot txt dengan menghapus /search

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ift.tt/2sehuP0

Anda tahu apa itu fungsi disavow:/search ? memang terkadang jika anda menghapus search pada robot txt masalah error karena url dicekal robot bisa teratasi namun itu salah

Bot google memiliki intensitas untuk merayapi sebuah halaman situs pada waktu-waktu tertentu dengan kuota index yang terbatas atau kita namakan crawl budget artinya jumlah index halaman yang terbatas dalam satu waktu

Fungsi disavow pada pencarian menandakan bahwa kita meminta google untuk tidak merayapi halaman pencarian baik label , arsip dan hasil pencarian yang menghabiskan kuota index google

http://ift.tt/2tcbKm4

http://ift.tt/2sdObMn

Hal ini penting untuk memaksimalkan bot google agar hanya merayapi link url konten saja karena apa yang ditampilkan di mesin pencari bukanlah halaman pencarian tapi halaman postingan selengkapnya mengenai robot txt anda bisa baca postingan saya yang lain

2. Merubah setting tag tajuk robot khusus

Settingan ini hanya terdapat pada blogger , fungsi tag tajuk robot khusus ini mirip seperti robot txt namun lebih lengkap , selain mengatur jumlah halaman yang boleh diindex pada settingan ini juga terdapat url yang ingin dijadikan nofollow dalam artian tidak perlu di ikuti oleh bot spider

Biasanya beberapa tutorial memberikan tips agar merubah settingan robot khusus ini kemode all artinya semua boleh di index dan dicrawl 

Tapi hal itu tidak perlu dilakukan kembali kepoint crawl budget yang terbatas , jika bugget index anda habis hanya untuk merayapi link yang sifatnya dinamis , link eksternal link yang ga penting atau laman yang memang tidak memiliki nilai guna bisa dipastikan anda akan merasakan artikel postingan yang baru saja diterbitkan akan susah sekali terindex dimesin pencari

Nah berikut cara setting tag tajuk robot khusus lengkap dengan penjelasanya sudah saya bahas dipostingan yang lain

Cara memperbaiki url dicekal robot txt dengan benar

1. Silahkan anda baca dulu beberapa point diatas mengenai kesalahan cara memperbaiki url dicekal robot webmaster jika sudah pastikan anda tidak panik lagi ketika melihat jumlah url yang dicekal karena pada dasarnya url yang dicekal merupakan aturan yang kita buat sendiri untuk menghemat crawl budget jadi tidak perlu terlalu panik

2. Selanjutnya periksa kesalahan tag update

Ketika anda memiliki artikel yang sudah terindex oleh google kemudian mengeditnya untuk dipublish ulang bot yang datang merayapi otomatis mengetahui bahwa ada perubahan sedikit data pada artikel yang telah terindex tersebut

Google akan memanggil perintah " update " yang terdapat pada struktur template , masalahnya saat anda memperbaharui artikel dan google tidak menemukan tags update pada template karena belum sesuai data terstruktur otomatis robot google akan mencekal url tersebut 

Bahasa awamnya ketika google sudah mengenal sebuah link kemudian dilakukan pembaharuan update  , google akan saling memanggil dengan bantuan tgs update untuk memberitahukan bahwa artikel ini baru saja diupdate

Solusinya pastikan template blog anda sudah sesuai dengan data terstruktur jangan sampai ada error pada bagian tags update seperti gambar dibawah

Cara lain untuk mengatasi url dicekal karena tidak ditemukan tag update adalah dengan mengedit robot txt menjadi seperti ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ift.tt/2tbQMni

Saat merayapi situs bot google menggunakan pedoman robot txt dengan membaca sitemap / peta situs jika anda menggunakan sitemap 

http://ift.tt/2sehuP0 maka yang dirayapi paling atas adalah bagian url yang terakhir kali dipublish kan tidak termasuk yang terakhir kali diupdate mungkin kalian pernah lihat diwebmaster status error 404 yang ditaut malah dari feed blogger

http://ift.tt/2tbQMni sementara peta situs ini hanya menampilkan 25 post terakhir yang diupdate baik post terakhir maupun update terakhir

Demikian postingan saya mengenai cara memperbaiki url yang dicekal robot digoogle webmaster sepertinya ada hal lain yang terlewatkan akan saya tambahkan dikemudian hari jika ingat terimakasih sudah berkunjung bagikan pengalaman anda dikomentar

 Follow Blog Orang IT dan jangan lupa Like FansPage Helmykkediri dibawah serta jangan lupa untuk klik iklan yang ada pada Blog ini.untuk biaya perawatan admin

loading...

Let's block ads! (Why?)

Mengatasi URL Dicekal Robot Webmaster : http://ift.tt/2sejZAX