Qual a diferença entre rastrear, indexar e ranquear?
São três etapas em sequência, e cada uma depende da anterior. Rastrear é o robô visitar a página e baixar o conteúdo. Indexar é o buscador guardar essa página no índice, o banco de páginas que ele consulta para responder. Ranquear é a página aparecer numa posição quando alguém pesquisa.
Crawlability é a primeira etapa. Se ela falha, as outras nem começam. É por isso que, antes de discutir conteúdo, palavra-chave ou link, vale conferir se os robôs conseguem entrar.
Hoje a pergunta vale para mais de um robô. Além do Googlebot, a busca do ChatGPT usa o OAI-SearchBot e a Perplexity usa o PerplexityBot. Cada um rastreia por conta própria, e uma página pode estar acessível para um e não para outro.
Como o Googlebot descobre as páginas do seu site?
O robô não adivinha endereços. Ele chega a uma página nova por três caminhos: um link numa página que ele já conhece, uma lista de URLs que você envia (o sitemap) ou um pedido direto pela Inspeção de URL do Search Console. O guia de SEO do Google diz que a grande maioria das páginas novas que ele encontra todos os dias chega por links.
Isso faz dos links internos a peça central da rastreabilidade. Uma página de serviço que só aparece no sitemap, sem nenhum link no menu, no rodapé ou em outro texto, é encontrada, mas fica isolada. Uma página linkada a partir da home e de dois artigos é encontrada rápido e volta a ser visitada com frequência.
Vale também olhar a profundidade: quantos cliques separam a home de uma página importante. Se o visitante precisa de cinco cliques para chegar ao serviço principal, o robô também faz esse caminho, e com menos pressa.
O papel do sitemap e do robots.txt nesse processo está em sitemap, robots.txt e indexação.
O que costuma impedir o rastreamento em sites pequenos?
- Páginas órfãs. Página que nenhuma outra linka. O robô pode até conhecê-la pelo sitemap, mas ela fica sem contexto e é pouco revisitada.
- Links que não são links. Menus e botões feitos com scripts, sem um
<a href>de verdade, não levam o robô a lugar nenhum. - Conteúdo só no JavaScript. Se o texto principal só aparece depois de scripts, o Google precisa renderizar a página para vê-lo, e outros robôs podem não ver.
- Erros de servidor. Páginas que respondem com erro 5xx fazem o Google reduzir o ritmo de rastreamento do site.
- Redirecionamentos em cadeia. A página A leva à B, que leva à C. Cada salto é tempo perdido e uma chance de erro.
- Bloqueio de robôs de IA sem querer. Plugins de segurança e serviços de CDN oferecem bloqueio de robôs de IA com um clique; às vezes vem ligado.
- Bloqueio no robots.txt. Uma regra esquecida do ambiente de teste pode fechar o site inteiro.
Quais respostas do servidor atrapalham o robô?
Toda vez que o robô pede uma página, o servidor responde com um código. O Google documenta como trata cada um, e alguns deles explicam quedas que parecem misteriosas.
| Código | O que o Google faz | O que conferir |
|---|---|---|
| 200 (sucesso) | Considera o conteúdo para indexação | Se a página com 200 tem conteúdo de verdade; página vazia ou de erro com 200 vira “soft 404” no Search Console |
| 301 e 308 | Seguem até 10 saltos; são sinal forte de que o destino é a página oficial | Cadeias longas e redirecionamentos para páginas sem relação |
| 302 e 307 | Seguem, mas como sinal fraco | Redirecionamento temporário usado para mudança permanente |
| 404 | Remove a URL do índice, se estava indexada, e visita cada vez menos | Páginas importantes apagadas sem redirecionamento |
| 429 e 5xx | Reduz o ritmo de rastreamento; se o erro persistir, retira URLs do índice aos poucos | Hospedagem instável, plugins que derrubam o servidor, firewall bloqueando o robô |
Como testar a crawlability em 15 minutos?
Você não precisa de ferramenta paga para um primeiro diagnóstico. O Search Console e o navegador bastam.
- Inspecione as páginas principais. No Search Console, use a Inspeção de URL na home e em duas páginas de serviço. Ela mostra se a página foi rastreada, quando, se está indexada e por quê.
- Veja o relatório de Indexação de páginas. Ele separa as páginas indexadas das que ficaram de fora e dá o motivo: erro de servidor, soft 404, redirecionamento, bloqueio.
- Abra as Estatísticas de rastreamento. Em Configurações, veja quantas requisições o Google faz por dia e se há picos de erro do servidor.
- Teste sem JavaScript. Desative o JavaScript no navegador e abra a página. Se o texto principal ou o menu sumirem, o robô depende da renderização para vê-los.
- Conte os cliques. Partindo da home, quantos cliques até cada página de serviço? Mais de três é sinal para rever menu e links internos.
O passo a passo do Search Console está em Search Console para leigos.
Orçamento de rastreamento importa para o meu site?
Quase nunca, para pequenas e médias empresas. O guia do Google sobre orçamento de rastreamento é voltado a sites com mais de 1 milhão de páginas que mudam toda semana, ou com mais de 10 mil páginas que mudam todo dia. Para os demais, o Google diz que manter o sitemap atualizado e acompanhar o relatório de indexação é suficiente.
Isso muda a prioridade. Um site institucional com 40 páginas raramente tem problema de orçamento; tem um bloqueio específico, uma página órfã ou um erro de servidor. Procure a causa pontual antes de reestruturar o site.
Imagine uma escola de idiomas que troca de hospedagem para economizar. O novo servidor cai por alguns minutos várias vezes ao dia. Para quem visita, parece um detalhe. Para o Google, são respostas 5xx repetidas: ele reduz as visitas ao site e, com o tempo, páginas começam a sair do índice. As Estatísticas de rastreamento mostram o pico de erros, e o problema se resolve na hospedagem, não no conteúdo.
Como a 2S Digital ajuda
Na criação ou na revisão de um site, conferimos rastreamento, indexação e acesso dos robôs de busca e de IA antes de falar de conteúdo. Se o site já existe e não aparece, é por aqui que começamos.
Conheça nosso trabalho em sites e páginas inteligentes. Para saber como cada IA usa o que rastreia, veja como as IAs escolhem quais sites citar.
Perguntas frequentes
Rastreável é a mesma coisa que indexável?
Não. Rastreável quer dizer que o robô consegue acessar e ler a página; indexável quer dizer que ela pode entrar no índice. Uma página pode ser rastreável e ter noindex, ficando fora dos resultados.
JavaScript atrapalha o rastreamento?
Pode atrapalhar quando o texto principal e os links só existem depois que os scripts rodam. O caminho mais seguro, para o Google e para os robôs de IA, é o conteúdo essencial e os links do menu já virem no HTML.
Bloquear robôs de IA afeta o Google?
Não diretamente. Cada robô segue a sua regra. Bloquear o OAI-SearchBot tira o site da busca do ChatGPT, mas não muda nada para o Googlebot.
Como pedir para o Google rastrear uma página nova?
Pela Inspeção de URL do Search Console, com a opção de solicitar indexação. Linkar a página nova a partir de páginas já indexadas ajuda o Google a encontrá-la e a voltar a ela.
Quer aplicar isso na sua empresa?
A 2S Digital conecta Google, anúncios, sites, IA e automação numa operação única de crescimento. Agende um diagnóstico gratuito.
Agendar diagnósticoContinue explorando
- Sitemap, robots.txt e indexação
- Site rápido e Core Web Vitals
- Search Console para leigos
- Diagnóstico gratuito