Gratis Tok News - Googlebot adalah bot pencarian perangkat lunak yang digunakan oleh Google, yang mengumpulkan dokumen-dokumen dari web untuk membangun indeks dicari untuk mesin pencari Google.
Jika seorang webmaster ingin membatasi informasi di situs mereka tersedia bagi Googlebot, atau yang lain laba-laba berperilaku baik, mereka dapat melakukannya dengan arahan yang tepat dalam file robots.txt, atau dengan menambahkan tag meta meta nama <= "Googlebot "isi =" nofollow "/> untuk halaman web.
Googlebot permintaan ke server Web dapat diidentifikasi dalam sebuah string user-agent yang mengandung "Googlebot" dan alamat host yang mengandung "googlebot.com".
Saat ini Googlebot hanya mengikuti link HREF dan SRC link. Googlebot menemukan halaman dengan pemanenan semua link pada setiap halaman yang ditemukannya. Kemudian berikut ini link ke halaman web lainnya. Baru halaman web harus terhubung ke halaman lain yang dikenal di web untuk dijelajahi dan diindeks atau secara manual dikirim oleh webmaster.
Saat ini Googlebot hanya mengikuti link HREF dan SRC link. Googlebot menemukan halaman dengan pemanenan semua link pada setiap halaman yang ditemukannya. Kemudian berikut ini link ke halaman web lainnya. Baru halaman web harus terhubung ke halaman lain yang dikenal di web untuk dijelajahi dan diindeks atau secara manual dikirim oleh webmaster.
Masalah yang sering webmaster mencatat dengan Googlebot adalah bahwa hal itu membutuhkan sejumlah besar bandwidth. Hal ini dapat menyebabkan situs Web untuk melebihi batas bandwidth dan diturunkan sementara. Hal ini sangat menyusahkan bagi situs cermin yang banyak host gigabyte data. Google menyediakan "Webmaster Tools" yang memungkinkan pemilik situs web untuk throttle tingkat merangkak.
No comments:
Post a Comment