En anglais, Googlebot signifie : robot d’exploration et d’indexation de Google. Un bot est un programme informatique qui parcourt les pages web afin d’indexer les pages internet.
Le Googlebot à deux missions principales :
- Explorer le web : visiter les pages et suivre les liens contenus dans ces pages.
- Indexer les pages : stocker le contenu de ces pages dans les bases de données de Google.
Fréquence du crawl
Au début, les index étaient mis à jour tous les mois. Depuis quelques années, le crawl est devenu continue grace à des robots qui crawlent le web continuellement. Ainsi, votre référencement naturel évolue, bouge chaque jour, voire continuellement.
Les pages dont les contenus sont mis à jour fréquemment ou régulièrement (ajout de texte, modification du contenu, mis à jour de certains éléments, ajout de nouvelles pages, …) sont visitées plus souvent que les pages dites « statiques ».
Certaines pages comme les pages d’actualité sont crawlées et indexées plusieurs fois par jour par les robots.
L’analyse du crawl : savoir quand Googlebot est venu sur votre site
Il est possible de savoir quand le site a été crawlé. Dans l’outil Webmaster Tools (GWT) de Google, le webmaster peut visualiser l’historique des passages du robot google. Les fichiers « log » des serveurs sont des journaux qui répertorient et conservent un historique de chaque visite des robots.
Certains outils statistiques permettent aussi de comptabiliser les passages du robot e d’analyser son crawl.
