El fichero robots.txt es el recurso esencial para la sitio que pretende ser bien indexada por los buscadores como Google . Sirve como un mapa para los bots, indicándoles qué áreas de tu web pueden ser crawleadas y cuáles se deben excluir . La óptima configuración de este documento puede a evitar problemas de posicionamiento, optimizar la efic