GoogleBot Nedir?
GoogleBot kısaca googlenin Arama Motoru Örümceğidir.Siteleri belirli periyodlarda gezer ve sitelerin googlede indexlenmesi konusunda bir görevli gibidir.Siteleri indexlerken Robots.txt dosyasını kaile alır.Ayrıca sadece tüm kullanıcılara açık olan bölgeleri dolaşabilir.Dolayısı ile kayıtlı kullanıcıların veyahut sadece yetkililerin ulaşacağı noktalara giremez.Bunun dışında Googlebot'ın sitenizi daha iyi ve hızlı indexlemesi için Başta Sitemap olmak üzere birçok yol bulunmaktadır.Ayrıca googleBot çok çalışan bir bot olduğu için sitenizin kapalı olması durumunda Bota yakalanırsanız google indexlerinizde uçabilir.
Googlebot Google tarafından kullanılan bir arama robotudur. Google arama motoru için, web'de bulunan dökümanları toplayarak, aranabilir bir indeks üretir.
Eğer bir sitenin webmaster'ı, sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.
Googlebot'un deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot, web sayfasındaki bütün bağlantıları takip ederek, Google indeksleyicilerine mümkün olan en fazla bilgiyi sağlar. Şu anda (2007 şubat) bu işlemi her ay yeniden tamamlamaktadır. Freshbot, web'de yeni içeriği tararmaktadır. Freshbot web sitelerini onların güncellenme sıklıklarına göre ziyaret ederek yeni içeriği kaydeder. Teoride freshbot günlük bir gazeteyi günde bir, haftalık bir dergiyi haftada bir ziyaret etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir.
