El fichero robots.txt es un herramienta clave para toda sitio que busca estar bien indexada por los buscadores como Google . Sirve como una mapa para los crawlers , indicándoles qué páginas de tu web pueden deben crawleadas y cuáles se deben excluir . La adecuada configuración de este fichero sirve a evitar problemas de rastreo , optimizar la