Porque o robots.txt não resolve problemas de segurança do seu site
Se eu configurar o robots.txt no meu site, estou seguro contra a indexação do meu conteúdo? A resposta mais curta é não . O próprio Google aponta algumas limitações do arquivo quando usado para prover segurança. Em suma, o robots.txt é apenas um arquivo que provê diretivas para os mecanismos de busca que podem seguir ou não as orientações. O problema é que enquanto o Google se compromete a seguir o que está previsto no arquivo, não há a menor garantia de que outros mecanismos vão seguir. Inclusive cibercriminosos. Isso quer dizer que o arquivo serve para evitar que o seu servidor seja sobrecarregado com requisições de crawlers para arquivos de imagem ou vídeos grandes mas não para garantir privacidade. Na verdade, o robots.txt pode ser justamente o tipo de orientação que um hacker precisa. Se você colocar nesse arquivo endereços que você deseja proteger de exposição, o mais provável é que um hacker queira investigar mais a fundo. E agora, o que fazer? Quando uma página