ROBOTS.TXT, é um arquivo TXT, um filtro que é implementado no serviço de SEO. O Robots.txt é responsável por um conjunto de comandos que permite ou não permite que as páginas de um site seja indexado pelos diversos mecanismos de buscas.
Todos os mecanismos de busca, tem robôs que literalmente varrem a internet buscando e indexados páginas e sites. Os mecanismos de buscas, ao ler este arquivo, será “autorizado” a indexar ou não o site e suas páginas.
Alguns tipos de páginas que você pode querer não indexar:
Páginas com conteúdo duplicado, como landing pages com conteúdos similares. Isso é visto como uma prática ilegal pelo Google, seu site deve indexar apenas uma página com cada conteúdo.
Também usamos o Robots.txt para indicar o caminho do mapa de URLs do site, o SITEMAP.XML que iremos abordar em outra postagem.