Sitemap e robots.txt: para que servem e como não travar o site

Publicado em 20 de julho de 2026 · por Sanderson Palmeira de Oliveira

Qual a diferença entre sitemap, robots.txt e noindex?

Os três controlam coisas diferentes, e a maior parte dos erros vem de usar um no lugar do outro. A tabela resume o papel de cada um segundo a documentação do Google Search Central.

Arquivo ou regra	O que faz	O que não faz
robots.txt	Controla quais URLs os robôs podem rastrear; serve para gerenciar o tráfego de rastreamento	Não impede a página de aparecer no Google. Uma URL bloqueada pode aparecer no resultado sem descrição
sitemap.xml	Lista as URLs que você quer que o buscador descubra, com data da última alteração relevante	Não força indexação nem define prioridade. O Google ignora os campos priority e changefreq
noindex (meta tag ou cabeçalho)	Pede que a página não seja incluída no índice	Só funciona se a página não estiver bloqueada no robots.txt, porque o robô precisa ler a página para ver a regra

Como é um robots.txt correto para um site de empresa?

Para a maioria dos sites institucionais, o robots.txt ideal é curto. Ele fica na raiz do domínio (seudominio.com.br/robots.txt), bloqueia só áreas que não têm valor na busca, como o painel administrativo e o carrinho, e informa onde está o sitemap.

Um detalhe que pega muita gente: o arquivo vale só para o host em que está. O robots.txt de www.seudominio.com.br não controla loja.seudominio.com.br nem a versão http do site. Cada subdomínio precisa do seu próprio arquivo.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.seudominio.com.br/sitemap.xml

Se a empresa quiser impedir que o conteúdo seja usado para treinar modelos de IA sem sair da busca dessas ferramentas, a regra precisa mirar o robô certo. A OpenAI documenta que o GPTBot é o de treinamento e o OAI-SearchBot é o da busca do ChatGPT; o Google documenta que o Google-Extended controla o uso no Gemini e não afeta a presença na Pesquisa Google. Bloquear “todos os bots” em bloco costuma tirar o site das respostas de busca das IAs. O contexto completo está no guia de como aparecer no Google e nas IAs.

O que um sitemap bom precisa ter?

A documentação do Google, atualizada em julho de 2026, define as regras que importam na prática. Cada arquivo de sitemap pode ter até 50 mil URLs ou 50 MB sem compressão; acima disso, divida em vários arquivos e use um índice de sitemaps. As URLs precisam ser absolutas e completas (https://www.seudominio.com.br/servicos/, e não /servicos/), porque o Google rastreia exatamente o endereço listado.

O campo lastmod é usado quando é consistente e verificável. Ele deve registrar a última alteração significativa da página, como mudança de conteúdo, de dados estruturados ou de links. Atualizar a data do rodapé não conta. Um sitemap que marca todas as páginas como alteradas hoje, todo dia, ensina o Google a ignorar esse campo.

Coloque no sitemap só as páginas que você quer ver no Google: a versão canônica, com status 200, sem noindex e sem redirecionamento. Página de obrigado, resultado de busca interna e URL com parâmetro de filtro ficam de fora.

Quais erros fazem o site sumir do Google?

A maior parte desses erros aparece em momentos de mudança: site novo indo ao ar, troca de hospedagem, mudança de tema ou de plataforma, migração de http para https. Por isso a checagem abaixo deve fazer parte de toda migração, antes e depois.

“Disallow: /” herdado do ambiente de teste. O site foi montado num servidor de homologação com tudo bloqueado, e o arquivo foi junto para o ar.
Caixa “Evitar que mecanismos de pesquisa indexem este site” marcada no WordPress depois do lançamento.
Noindex em página bloqueada no robots.txt. O Google não consegue ler o noindex e a URL pode continuar aparecendo, sem descrição.
Bloqueio de CSS e JavaScript. Sem esses arquivos, o Google pode não conseguir renderizar a página como o visitante vê.
Sitemap com URLs erradas: http em vez de https, domínio sem www quando o site usa www, páginas que redirecionam ou dão erro 404.
Firewall ou CDN barrando robôs de busca por regra genérica contra bots, o que também afeta os robôs das IAs.

Como conferir tudo em 10 minutos

Abra seudominio.com.br/robots.txt no navegador. Procure “Disallow: /” sozinho numa linha e veja se a linha “Sitemap:” aponta para o endereço certo.
Abra o sitemap e confira se as URLs começam com o protocolo e o domínio corretos.
No Search Console, abra Sitemaps e veja se o arquivo foi lido sem erro e quantas páginas foram encontradas.
Abra Indexação de páginas e procure os motivos “URL bloqueado pelo arquivo robots.txt” e “URL marcado como noindex” em páginas que deveriam estar no Google.
Use a Inspeção de URL em três páginas importantes (home, principal serviço e contato) e confira se estão indexadas e se o rastreamento é permitido.
Repita a checagem após qualquer migração, troca de tema, mudança de domínio ou de hospedagem.

Se você nunca usou esses relatórios, o post Search Console para leigos mostra onde fica cada um. Para entender o que impede o robô de ler a página além desses dois arquivos, veja crawlability.

Como enviar o sitemap ao Google?

O Google aceita três caminhos: o relatório de Sitemaps do Search Console, a linha “Sitemap:” no robots.txt e a API do Search Console. Para uma empresa, o mais útil é o Search Console, porque ele mostra depois se houve erro de leitura e quantas URLs foram descobertas.

Enviar o sitemap não obriga o Google a indexar as páginas. Ele ajuda na descoberta; a decisão de indexar depende da qualidade e da utilidade de cada página. O próprio Google diz que não se deve esperar que todas as URLs de um site sejam indexadas.

Volte ao relatório de Sitemaps alguns dias depois do envio. O esperado é o arquivo lido sem erro, com o número de URLs descobertas próximo do número de páginas do site. Se o número for muito menor, algumas URLs estão fora do sitemap ou o arquivo não está sendo atualizado quando você publica.

Como a 2S Digital ajuda

Nos sites que criamos, sitemap e robots.txt são gerados junto com as páginas, a cada publicação. Em sites de terceiros, fazemos a revisão técnica de rastreamento e indexação e corrigimos o que estiver impedindo o Google de ler o site.

Veja a solução de sites e páginas inteligentes ou peça um diagnóstico gratuito.

Perguntas frequentes

Todo site precisa de sitemap?

Site pequeno e bem linkado pode ser descoberto sem sitemap, mas ele ajuda, principalmente em sites novos, com muitas páginas ou que publicam conteúdo com frequência. Como a maioria das plataformas gera o arquivo automaticamente, não há motivo para ficar sem.

Bloquear uma página no robots.txt tira ela do Google?

Não. O Google afirma que o robots.txt não é um mecanismo para manter uma página fora da busca; a URL pode aparecer sem descrição se houver links para ela. Para tirar do índice, use noindex e deixe a página rastreável.

Onde coloco o link do sitemap no robots.txt?

Em qualquer linha do arquivo, com a URL completa: Sitemap: https://www.seudominio.com.br/sitemap.xml. Pode haver mais de uma linha, se o site tiver vários sitemaps.

Priority e changefreq ainda fazem diferença?

Não para o Google, que documenta que ignora esses dois campos. O que ele usa é o lastmod, desde que a data reflita alterações reais e significativas da página.

Quer aplicar isso na sua empresa?

A 2S Digital conecta Google, anúncios, sites, IA e automação numa operação única de crescimento. Agende um diagnóstico gratuito.

Agendar diagnóstico

Continue explorando

← Voltar ao blog