Divulgação: este artigo contém links de afiliados. Se você assinar através deles, podemos receber uma comissão sem nenhum custo adicional para você.
Sempre que pensamos no Googlebot, imaginamos um robozinho inteligente e simpático, estilo Wall-E, saindo em disparada numa missão para encontrar e indexar conhecimento em todos os cantos de mundos desconhecidos. É sempre um pouco decepcionante lembrar que o Googlebot é “apenas” um programa de computador escrito pelo Google, que rastreia a web e adiciona páginas ao índice. Aqui vamos apresentar esse rastreador e mostrar o que ele faz.
Resposta rápida: o que é o Googlebot?
O Googlebot é o rastreador do Google: um programa automatizado que percorre a web seguindo links, lê o conteúdo das páginas e sugere o que deve entrar no índice do buscador. Existem variações dele para desktop, celular, imagens, vídeos e notícias, cada uma identificada por um user-agent diferente.
O que é um rastreador web?
Um rastreador web, também chamado de spider ou bot, é um programa automatizado que navega e coleta dados da internet. Ele funciona “rastejando” pelos sites, baixando o conteúdo deles e armazenando tudo em um banco de dados gigante.
Rastreadores são essenciais para muitas tarefas: indexar sites, monitorar mudanças e reunir dados para análise. Eles são programados para seguir os links dentro de um site e, a partir dali, seguir para outros sites.
O Googlebot é o rastreador do Google, e outros buscadores têm os seus próprios. O robô percorre as páginas por meio de links. Ele encontra e lê conteúdo novo e atualizado e sugere o que deve ser adicionado ao índice. O índice, claro, é o cérebro do Google — é ali que todo o conhecimento mora. O Google usa muitos computadores para enviar seus rastreadores a cada canto da web, encontrar essas páginas e ver o que há nelas.
Como o Googlebot funciona?
O Googlebot usa sitemaps e bancos de dados de links descobertos em rastreamentos anteriores para decidir aonde ir em seguida. Sempre que encontra links novos em um site, ele os adiciona à lista de páginas a visitar. Se encontra mudanças nos links ou links quebrados, anota isso para que o índice seja atualizado. O próprio programa determina com que frequência vai rastrear as páginas. Para garantir que ele consiga indexar o seu site corretamente, você precisa cuidar da rastreabilidade: se o seu site está disponível aos rastreadores, eles aparecem com frequência.
Diferentes robôs e rastreadores
Existem vários robôs diferentes. O AdSense e o AdsBot, por exemplo, verificam a qualidade dos anúncios, enquanto o Mobile Apps Android checa aplicativos Android. Todos esses bots têm user-agents diferentes que os identificam. Para nós, estes são os mais importantes:
| Nome | User-agent |
| Googlebot (desktop) | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot (celular) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot Video | Googlebot-Video/1.0 |
| Googlebot Images | Googlebot-Image/1.0 |
| Googlebot News | Googlebot-News |
Como o Googlebot visita o seu site
Para descobrir com que frequência o Googlebot visita o seu site e o que ele faz por lá, você pode mergulhar nos seus arquivos de log ou abrir a seção de estatísticas de rastreamento do Google Search Console.
O Google não divulga listas de endereços IP usados pelos seus robôs, já que esses endereços mudam com frequência. Para saber se um Googlebot de verdade visitou o seu site, faça uma consulta reversa de IP. Spammers e falsificadores conseguem forjar facilmente o nome do user-agent, mas não o endereço IP.
Você pode usar o robots.txt para determinar como o Googlebot visita — ou não visita — partes do seu site. Porém, se fizer isso da forma errada, pode impedir o rastreador de vir completamente, o que tira o seu site do índice.
Google Search Console
O Search Console é uma das ferramentas mais importantes para checar a rastreabilidade do seu site. Ali você verifica como o Googlebot enxerga as suas páginas e recebe uma lista de erros de rastreamento para corrigir. No Search Console também dá para pedir ao Googlebot que rastreie o site novamente.
O Search Console, porém, só mostra o que acontece no seu site. Para entender por que o Googlebot visita a concorrência com mais frequência — normalmente uma questão de autoridade e volume de links —, vale complementar com uma ferramenta de análise como a Semrush, que compara o perfil de backlinks e a autoridade de domínio entre você e os concorrentes do seu nicho.
Otimizando para o Googlebot
Fazer o Googlebot rastrear o seu site mais rápido é um processo bastante técnico, que se resume a remover as barreiras que impedem o rastreador de acessar o site adequadamente. É técnico, sim, mas vale você se familiarizar com isso. Se o Google não consegue rastrear o seu site direito, ele nunca vai conseguir ranqueá-lo. Encontre esses erros e corrija!
Conclusão
O Googlebot é o robozinho que visita o seu site. Ele costuma aparecer com frequência se você fez escolhas tecnicamente sólidas. E, se você adiciona conteúdo novo com regularidade, ele vem ainda mais vezes. Às vezes, quando você faz mudanças grandes no site, pode ser preciso chamar esse rastreador para vir de imediato, para que as alterações apareçam nos resultados de busca o quanto antes.
Perguntas frequentes
Como saber se foi mesmo o Googlebot que visitou o meu site?
Faça uma consulta reversa de DNS no endereço IP registrado no log. O user-agent pode ser forjado por qualquer um; o IP, não. O Google documenta esse procedimento de verificação.
Com que frequência o Googlebot visita um site?
Depende da autoridade do site e da frequência de atualização. Sites grandes e muito atualizados podem receber visitas várias vezes ao dia; sites pequenos e estáticos, apenas a cada poucas semanas.
Posso pedir ao Google para rastrear uma página agora?
Pode. Use a inspeção de URL no Google Search Console e clique em “Solicitar indexação”. Isso coloca a página em uma fila prioritária, mas não garante indexação imediata.
Existe só um Googlebot?
Não. Existem versões para desktop, celular, imagens, vídeos e notícias, além de bots de anúncios. Cada um tem um user-agent próprio e pode ser tratado de forma diferente no robots.txt.
