archivo robots txt

El Archivo robots.txt

Cómo usar comodines en robots.txt. El archivo robots.txt se utiliza para controlar si los motores de búsqueda de contenido pueden acceder en su sitio o no