El archivo robots.txt se utiliza para controlar si los motores de búsqueda de contenido pueden acceder en su sitio o no. Esto es excelente para controlar el contenido duplicado y para dirigir su presupuesto de rastreo a sus páginas más importantes. saber más “El Archivo robots.txt”