quarta-feira, 22 de fevereiro de 2017

Bloquear o Googlebot no seu site


Fala galera que acompanha o blog... 

Anteriormente eu expliquei o que é e como funciona o Googlebot. 
Nesse post, vamos aprender algumas forma de bloquear os bots no nosso site, seja para bloquear alguma página que não gostaríamos que fosse mapeada ou para um evitar o mapeamento de paginas privadas. 

Bloquear o Googlebot no seu site

Precisamos entender que é quase impossível manter um servidor da web em sigilo não publicando links para ele, como vimos a busca realizada por esses bots parte de um link base e a acessa a cada link que vai surgindo, realizando a indexação dos mesmos. 

Para impedir que o Googlebot rastreie o conteúdo do seu site, temos algumas formas de agir. Eu vou deixar o link que direciona para o conteúdo que a própria Google disponibiliza: 

De todas as opções a mais fácil com certeza é proteger com senha os seus diretórios, no entanto o uso do arquivo robots.txt, além de prevenir os bots, protegem que arquivos de imagens sejam exibidos nos resultados da Pesquisa Google. 

No entanto o uso de apenas um desses métodos não garante total segurança de que seu conteúdo não foi indexado e não será exibido nas buscas realizados no Google. É claro que o modo a ser utilizado, vai depender da sua necessidade. 
Fugindo um pouco do escopo de indexação e indo mais diretamente em segurança da informação, sempre utilize senhas nos diretórios que são privados. 

Como mencionado no site de suporte do Goole, embora o Googlebot e outros rastreadores da Web confiáveis sigam as instruções de um arquivo robots.txt, que funcionam apenas como diretivas, elas podem não ser seguidas por outros rastreadores mal intencionados, outro detalhe é que cada rastreador pode interpretar esses arquivos de maneira diferente. É importante saber a sintaxe apropriada para atender a diferentes rastreadores da Web, pois alguns podem não entender todas as instruções. 

O Google disponibiliza um link que se chama Search Console, nele existem diversas opções que auxiliam e muito o trabalho de webmaster, entre ela a poSsibilidade de verificar links quebrados, paginas indexadas, verificar se seu site está sendo indexado pelo Google, realizar buscas como se fosse o Google e diversas outras coisas, acesse o site e se divirta verificando detalhes que podem ser melhorados no seu site. 

É isso ai pessoal, espero ver o site de vocês no topo das buscas rs 
Até a próxima.
Luiz Fagner Zordan Analista de Sistemas

Graduado em Sistemas de Informação, atualmente trabalhando na Embraer pela FocusNetworks como FullStack. Sou apaixonado por tecnologia, fascinado por jogos e adoro passar o tempo assistindo séries.