Un archivo robots.txt almacenado en la raíz de su sitio web le dirá a los robots web, como las arañas de los motores de búsqueda, qué directorios y archivos pueden rastrear. Es fácil usar un archivo robots.txt, pero hay algunas cosas que debes recordar:
- Los robots web de Blackhat ignorarán tu archivo robots.txt. Los tipos más comunes son robots de malware y robots que buscan direcciones de correo electrónico para recopilar.
- Algunos programadores nuevos escribirán robots que ignoran el archivo robots.txt. Esto generalmente se hace por error.
- Cualquiera puede ver su archivo robots.txt. Siempre se llaman robots.txt y siempre se almacenan en la raíz del sitio web.
- Finalmente, si alguien se enlaza a un archivo o directorio que está excluido por su archivo robots.txt de una página que no está excluida por su archivo robots.txt, los motores de búsqueda pueden encontrarlo de todos modos.
No uses archivos robots.txt para ocultar nada importante. En su lugar, debe colocar información importante detrás de contraseñas seguras o dejarla completamente fuera de la web.
Cómo usar estos archivos de muestra
Copie el texto de la muestra más cercana a lo que quiere hacer y péguelo en su archivo robots.txt. Cambie los nombres de robot, directorio y archivo para que coincidan con su configuración preferida.
Dos archivos básicos de Robots.txt
Agente de usuario: *No permitir: / Este archivo dice que cualquier robot ( Agente de usuario: *) que acceda debería ignorar cada página del sitio ( No permitir: /). Agente de usuario: *Rechazar: Este archivo dice que cualquier robot ( Agente de usuario: *) que acceda a él está permitido ver todas las páginas del sitio ( Rechazar:). También puede hacer esto dejando su archivo robots.txt en blanco o sin tener uno en su sitio. Agente de usuario: *No permitir: / cgi-bin /No permitir: / temp / Este archivo dice que cualquier robot ( Agente de usuario: *) que acceda debe ignorar los directorios / cgi-bin / y / temp / ( No permitir: / cgi-bin / No permitir: / temp /). Agente de usuario: *No permitir: /jenns-stuff.htmNo permitir: /private.php Este archivo dice que cualquier robot ( Agente de usuario: *) que acceda debería ignorar los archivos /jenns-stuff.htm y /private.php ( No permitir: /jenns-stuff.htm No permitir: /private.php). User-agent: Lycos / x.xNo permitir: / Este archivo dice que el bot Lycos ( User-agent: Lycos / x.x) no está permitido el acceso a ninguna parte del sitio ( Agente de usuario: *No permitir: /Usuario-agente: GooglebotRechazar: Este archivo primero no permite todos los robots como hicimos anteriormente, y luego permite explícitamente que Googlebot ( Usuario-agente: Googlebot) tener acceso a todo ( Si bien es mejor usar una línea de agente de usuario muy inclusiva, como agente de usuario: *, puede ser tan específico como desee. Recuerda que los robots leen el archivo en orden. Entonces, si las primeras líneas dicen que todos los robots están bloqueados de todo, y luego en el archivo, se dice que todos los robots tienen acceso a todo, los robots tendrán acceso a todo. Si no está seguro de haber escrito su archivo robots.txt correctamente, puede usar las Herramientas para webmasters de Google para revisar su archivo robots.txt o escribir uno nuevo. Proteger directorios específicos de robots
Proteger páginas específicas de robots
Evite que un robot específico acceda a su sitio
Permitir solo un acceso específico a un robot
Combina múltiples líneas para obtener exactamente las exclusiones que deseas
