Pular para o conteúdo

Sua página abre logado e não para o robô: teste hoje

Resposta curta

Você vai abrir a sua página como um estranho abre e pedir o HTML como um robô pede: janela anônima, um comando e a leitura de três linhas. Em poucos minutos fica claro se o bloqueio é visibilidade fechada, endereço errado ou código de status — e o conserto sai no painel da Systeme.io.

Assunto: Aparecer na busca e na IA

Por Alan Victor · · 7 min de leitura

  1. 1Abra a sua página numa janela anônima
  2. 2Peça a página do jeito que o robô pede
  3. 3Guarde o HTML e leia as três linhas que decidem
  4. 4Conserte no painel e repita o mesmo comando

No fim deste guia você vai saber o que um robô de busca recebe quando pede a sua página: o código de status, o título e as linhas do cabeçalho que liberam ou barram a leitura. É o teste que separa "a página está ruim para o buscador" de "a página nem chega ao buscador".

Eu faço esse teste com as páginas que monto na Systeme.io porque o endereço que eu testo é o mesmo que recebe o cadastro, guarda o contato na lista e dispara o e-mail. Uma conta só, e o plano grátis já publica página.

Sai um guia por dia, e o canal do Telegram avisa quando sai. A ferramenta que eu uso para a página, a captura e o e-mail automático no mesmo lugar é a Systeme.io, que tem plano gratuito.

O que você vai ter no fim

Etapa 1: Abra a sua página numa janela anônima

Resposta direta: se a página só abre com você logado, o robô também não entra, e o problema nunca foi SEO.

Copie o endereço da barra do navegador com a sua página aberta normalmente. Abra uma janela anônima (Ctrl+Shift+N no navegador, ou Ctrl+Shift+P se estiver no Firefox) e cole o endereço lá.

Você vai ver uma de quatro coisas: a página inteira, um pedido de senha, um pedido de login ou um aviso de página não encontrada. Só a primeira libera o resto do guia.

O recurso que eu demorei a abrir é o mais sem graça do painel: o estado de visibilidade da página. Na Systeme.io, abra a página e procure essa opção; ela decide se o endereço é público, protegido por senha ou restrito a membros. Se a janela anônima pediu senha, é aí que o robô parou.

Etapa 2: Peça a página do jeito que o robô pede

Resposta direta: um comando devolve o mesmo código de status que o robô recebe, sem o seu login no meio.

Abra o terminal do seu computador e cole o comando abaixo. Troque $PAGINA pelo endereço que você copiou na etapa 1, mantendo as aspas.

curl -s -o /dev/null -w "%{http_code}\n" "$PAGINA"

O que volta é um número de três dígitos, sozinho na tela. Se voltar 200, a página foi entregue inteira, sem pedir login. Se o endereço estiver errado, o próprio comando responde com a mensagem literal curl: (6) Could not resolve host — e aí o problema é o endereço, não a página.

Os códigos de status são os da RFC 9110, a especificação que define o protocolo HTTP. A tabela abaixo traduz os que importam aqui.

Código que voltaO que significaO que fazer
200a página foi entregue inteira, sem pedir loginsiga para a etapa 3
301 ou 302a página mandou o visitante para outro endereçoveja para onde ela redireciona: o endereço que você divulga não é o que o robô lê
401 ou 403pediu senha ou permissãoa visibilidade está fechada; conserte na etapa 4
404o endereço não existe do lado de foraconfira se a página foi publicada e se o endereço está completo
500 em dianteerro de quem entrega a páginarepita em alguns minutos antes de mexer em qualquer coisa

Para fazer isso sem montar servidor

O que este guia faz por API, a Systeme.io faz por formulário: página, lista, etiqueta e e-mail automático na mesma conta. É a conta em que eu testo o que aparece aqui, e o plano gratuito já dá para publicar e capturar.

Ver o plano gratuito

Etapa 3: Guarde o HTML e leia as três linhas que decidem

Resposta direta: o texto que o buscador lê é o HTML que esse comando salva, e três marcas nele explicam a invisibilidade.

curl -s -o pagina.html -w "%{http_code}\n" "$PAGINA"

O comando salva o arquivo pagina.html na pasta em que você está e mostra o código de status na tela. Abra o arquivo em qualquer editor de texto e procure estas três marcas:

As regras de robots e de canonical estão descritas na documentação oficial da Busca do Google. É lá também que está escrito o que eu repito no fim deste guia: seguir os fundamentos não garante que a página seja exibida.

Por que a IA não cita uma página que abre só para você?

Um modelo que responde citando trechos da web trabalha com o que consegue ler do HTML público. Se a resposta ao pedido é uma tela de login ou um 404, não existe trecho para citar — não é castigo de algoritmo, é falta de texto acessível.

É o mesmo motivo pelo qual a página não aparece na busca. Um teste só explica os dois casos.

Etapa 4: Conserte no painel e repita o mesmo comando

Resposta direta: com 401 ou 403 na mão, o conserto está na visibilidade da página; mude para pública, salve, publique de novo e rode o comando outra vez.

Na Systeme.io, abra a página no painel, mude a visibilidade para pública e salve. Volte ao terminal e rode exatamente o mesmo comando da etapa 2, sem alterar nada.

O que você quer ver é o número mudar de 401 para 200. Essa troca é a sua prova de que o bloqueio era seu e de que ele saiu do caminho; o resto é do buscador.

Se o código já era 200 e as três marcas da etapa 3 estão limpas, não há botão para apertar. O que sobra é tempo de leitura do lado de fora e o endereço divulgado em algum lugar — o buscador precisa encontrar a página por um caminho, e o caminho começa em links e conteúdo, não no painel.

Eu mantenho página, lista e e-mail na Systeme.io justamente para não levar o HTML de um lado para o outro: o endereço que eu testo é o que captura o contato e dispara a sequência. Quando a operação cresce e o volume de páginas e contatos aperta o plano grátis, o próximo degrau é o plano pago, na mesma conta e sem migração.

O que eu não vou afirmar

Se você ainda não tem conta, o caminho mais curto é criar a sua pelo botão desta página e fazer a etapa 1 hoje, com a página que já está publicada. Cada dia com a página fechada é um dia de visita que chega, esbarra no login e vai embora.

Travou em alguma etapa?

Abra uma discussão em github.com/alanvito1/funil-simples dizendo em que passo parou. Dúvida que aparece mais de uma vez tem boa chance de virar guia, e o código deste site está no mesmo lugar, aberto.

Se ainda não tem onde publicar o que montou, a conta gratuita da Systeme.io resolve a página e a lista.

Perguntas frequentes

A página abre para mim, mas na janela anônima pede senha. O que está errado?

A visibilidade da página está fechada. Enquanto ela pedir login ou senha, o conteúdo não é entregue a nenhum visitante sem sessão, e é isso que o código 401 ou 403 no comando mostra. O conserto é mudar a visibilidade para pública no painel e publicar de novo.

Preciso instalar algum programa para rodar o teste?

Não. O comando curl já vem no terminal do macOS, do Linux e do Windows atualizado, e você só precisa colar uma linha trocando o endereço pelo da sua página. Se o comando não existir na sua máquina, a janela anônima da etapa 1 sozinha já responde a pergunta principal.

A página devolve 200 e mesmo assim não aparece. E agora?

Então o bloqueio não é visibilidade nem endereço. Com 200 e as três marcas limpas no HTML, a página está legível; o que falta é caminho até ela e tempo de leitura. Vale lembrar que indexar e exibir são coisas diferentes: a documentação da Busca diz que a exibição não é garantida.

As IAs leem a mesma coisa que o buscador?

Leem o mesmo HTML público como matéria-prima. O que está atrás de login, senha ou endereço quebrado não é lido por nenhum dos dois, então o teste desta página serve para os dois casos de uma vez.

Isso funciona para página de captura?

Funciona para qualquer página publicada, inclusive a de captura. O teste não olha o conteúdo nem o formulário: ele olha o que o servidor devolve para quem pede o endereço sem estar logado.

Leve isto com você

robots.txt e llms.txt, prontos para preencher

É os dois arquivos que dizem ao buscador o que ler e ao assistente de IA sobre o que o seu site sabe, com os nomes dos robôs de IA de hoje.

Baixar (TXT, 2.2 kB)

Copie cada bloco para um arquivo, troque o domínio e os assuntos, e sirva os dois na raiz do site. Sem cadastro, sem e-mail: o arquivo baixa direto.

Receba o resto por e-mail

Eu testo ferramenta de funil e e-mail e mando o que descubro.