Los robots.txt son una parte muy importante que los buscadores toman en cuenta a la hora de acceder a nuestro sitio web con esos archivos les das persmisos a los robots y tiempos, en SigT han publicado un robots.txt ya configurado para optimizar el SEO de tu blog.