Googlebot

GoogleBot è lo spider web (italianizzato in “agente mobile”) di Google. Googlebot effettua due tipi di scansione del web: la Deep-crawl (fatta una volta al mese circa) e la Fresh-crawl (quasi tutti i giorni). La prima come detto viene fatta una volta al mese e viene scansionato tutto il web pagina per pagina, aggiornando indici, pagerank e cache. Dopo una Deep-crawl Google impiega circa 6-8 giorni per aggiornare completamente i suoi indici e propagarli in tutti i datacenter.