Uma das curiosidades em relação ao SEO é como esconder os backlinks do concorrente, é uma dúvida levantada por donos de sites, sobre o motivo de um específico concorrente possuir apenas poucos backlinks e estar no topo em um nicho tão concorrido. Espero que absorvam o conteúdo.
O que são rastreadores, também conhecidos como bots?
Os rastreadores, spiders ou bots (abreviação de robots), são sistemas utilizados para explorar seu site em busca de informações, criando um banco de dados próprio. Esses dados podem ser usados por mecanismos de busca para indexar informações e fornecer respostas rápidas ou por ferramentas de SEO para identificar detalhes sobre seu site, como links de entrada e saída e palavras-chave nas quais ele se destaca. Essas informações são valiosas não apenas para seu controle, mas também para que seus concorrentes analisem seus projetos, podendo descobrir a origem de seus links mais importantes, por exemplo.
Então, devo ocultar meu site dos bots?
Depende. Considere um cenário onde um profissional de SEO possui várias sites apontando para seu site principal, com links “poderosos” direcionados para esses domínios. Nesse caso, você não precisa necessariamente ocultar seu site principal dos bots. Basta esconder as urls, aproveitando as ferramentas para analisar seu site principal.
Como devo proceder para ocultar meus links?
Primeiramente, se você não tem familiaridade com servidores web e administração de sistemas Linux, contate seu programador. Mexer nesses arquivos sem o devido conhecimento pode prejudicar seu site, deixando-o fora do ar e sem indexação nos motores de busca.
Mesmo com alguma experiência, tenha cuidado no processo. Já resolvi casos de clientes que, entusiasmados com a nova técnica, esconderam seus sites dos rastreadores do Google e Bing, resultando em problemas significativos.
Usando o Robots.txt
A forma mais comum e simples de esconder seu site dos rastreadores de ferramentas de SEO é utilizando o robots.txt. No entanto, não recomendo seu uso por duas razões:
- O Google, ao ler o robots.txt com diversos bloqueios, pode perceber que você está escondendo algo valioso, criando um footprint negativo.
- Algumas ferramentas podem ignorar o robots.txt (como o ChatGPT e outros), que é apenas um arquivo informativo e não bloqueia acessos efetivamente.
Ainda assim, aqui está um exemplo de como bloquear todos os bots, exceto o Googlebot, no robots.txt:
User-agent: * Disallow: / User-agent: Googlebot Disallow:
Usando o .htaccess no Apache
O .htaccess é um arquivo na pasta raiz do seu site que dá instruções ao servidor. Apenas o administrador do servidor tem acesso a ele, então o Google não verá o que você fizer aqui, evitando footprints.
Você poderia listar inúmeros bots que deseja bloquear, como o SemrushBot, o MJ12bot, o rogerbot, e o ahrefsbot. No entanto, alguns bots podem ser omitidos, como o MBCrawler do Monitor-Backlinks. Trabalhar com exceções, bloqueando todos os bots e permitindo apenas o Google e o Bing, pode ser mais eficaz. Aqui está a sintaxe:
# Verifica se o user agent é diferente do Google e Bing
RewriteCond %{HTTP_USER_AGENT} !Googlebot [NC, OR]
RewriteCond %{HTTP_USER_AGENT} !Bingbot [NC]
# Se uma das condições for atendida, acesso negado.
RewriteRule ^ – [F,L]
Trabalhar com exceções pode ser complicado, pois existem diversos bots do próprio Google que você pode querer permitir. Sugiro bloquear bots específicos que você deseja impedir. Aqui está um exemplo:
# Verifica se o user agent é um destes
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|MJ12bot|rogerbot|SemrushBot|dotbot|Alexibot|Surveybot|Xenu|exabot|gigabot|BlekkoBot|MECrawler) [NC]
# Se um destes for o user agent, acesso negado.
RewriteRule ^ – [F,L]
E se meu servidor não for Apache, mas Nginx?
Se você utiliza o Nginx, primeiro aprenda a pronunciar corretamente: Nginx é a forma abreviada de Engine X, pronunciado “Engíne Éx”. Agora, aqui está a sintaxe para adicionar ao seu nginx.conf:
if ( $http_user_agent ~* (AhrefsBot|MJ12bot|rogerbot|SemrushBot|dotbot|Alexibot|Surveybot|Xenu|exabot|gigabot|BlekkoBot) ) {
return 301 http://www.bing.com/;
}
No exemplo acima, qualquer um desses bots será redirecionado para o Bing. Também poderia ser usado o código return 403, negando o acesso.
Como encontrar listas de bots?
Uma maneira fácil de encontrar listas de bots é através do Google, buscando em robots.txt de sites indexados. Utilize a sintaxe abaixo no campo de busca:
filetype:txt mj12bot
No exemplo acima, usei o mj12bot, mas poderia ter usado o rogerbot, AhrefsBot ou SemrushBot, que também são comuns.
Essa busca retornará arquivos .txt com a string mj12bot. Abra-os para analisar os bots bloqueados e crie sua própria lista. Muitos sites incluem a origem de cada bot nos comentários do arquivo, o que pode ser útil.
Espero que este artigo seja útil para você. Não deixe de comentar se gostou. Sugestões e críticas são bem-vindas.
Valeu e até o próximo artigo!