Un acuerdo de caballeros de 1994, no un candado
El robots.txt empezó como una convención informal entre los autores de los primeros rastreadores web y siguió siendo informal durante décadas antes de escribirse por fin como estándar. Esa historia explica sus dos propiedades peor entendidas.
La primera: es enteramente consultivo. Un rastreador lee el archivo, decide respetarlo y se salta las
rutas que has listado. Un rastreador al que le da igual sencillamente las pide. No hay ninguna
imposición en ningún punto de la cadena, y por eso una línea Disallow se parece más a un cartel en
una puerta que a una cerradura.
La segunda: es público por diseño. Tu robots.txt está en una URL fija y adivinable que cualquiera
puede abrir. Escribir Disallow: /interno/exportaciones/ anuncia la existencia de ese directorio
a toda persona que se le ocurra mirar. Si una ruta es sensible, este archivo es el sitio equivocado
para nombrarla; bloquea el directorio padre o, mejor, pon autenticación de verdad delante.
Las dos cosas importan sobre todo para el preajuste de bloqueo de un entorno de pruebas. Sí mantiene fuera a los buscadores que se portan bien, que es el objetivo habitual, pero no hace el sitio privado en ningún sentido significativo.
Gana la coincidencia más larga, no la primera
Esta es la regla que pilla a casi todo el mundo. Lees un robots.txt de arriba abajo y parece la
configuración de un cortafuegos, donde el orden decide el resultado. No lo es. Dentro del grupo de
reglas que aplica a un bot se recogen todos los patrones Allow y Disallow que coinciden con la
ruta pedida, y gana el que tenga más caracteres. Un empate en longitud se resuelve a favor de
Allow.
WordPress da el ejemplo canónico. El patrón /wp-admin/ tiene 10 caracteres y
/wp-admin/admin-ajax.php tiene 24, así que el Allow estrecho gana para ese único archivo y el
Disallow amplio sigue cubriendo todo lo demás del directorio. Nada de ese resultado depende de qué
línea escribiste primero, y mover el Allow por encima del Disallow no cambia nada.
Donde esto muerde es cuando supones lo contrario. Escribir Disallow: / seguido de Allow: /blog
sí funciona, porque /blog es más largo que /. Escribir Disallow: /productos/oculto/ y
esperar que un Allow: /productos/ posterior lo anule no funciona, porque el patrón Disallow
es más largo. Por eso el comprobador está justo debajo del archivo generado y no como un añadido.
Qué informa realmente el comprobador
Escribes una ruta y un agente de usuario y recorre los mismos tres pasos que un rastreador. Elige el
grupo de reglas más específico para ese bot, prefiriendo una coincidencia exacta de nombre sobre el
grupo *. Recoge todos los patrones de ese grupo que coincidan con tu ruta. Después aplica gana-el-
más-largo con el desempate a favor de Allow y te dice qué patrón lo decidió, citado literalmente
para que encuentres la línea que hay que cambiar.
Dos casos de permitir-por-defecto conviene conocerlos, porque sorprenden a quien espera una respuesta
de bloqueo. Si ningún grupo de reglas aplica al bot y no hay grupo *, la ruta se permite. Si un
grupo sí aplica pero ninguno de sus patrones toca tu ruta, la ruta también se permite. El
robots.txt no tiene denegación implícita: todo lo que no hayas prohibido está permitido.
Bloquear rastreadores de IA, y qué bloqueas en realidad
Uno de los preajustes lista once agentes de rastreo de IA. Antes de usarlo conviene saber que ese conjunto mezcla dos cosas distintas.
Están los rastreadores de entrenamiento, que recogen texto para entrenar modelos. Bloquearlos no te cuesta visitas, porque no envían visitantes. Y están los de recuperación, los que van a buscar una página en el momento en que alguien pregunta algo y pueden citarte y enlazarte. Bloquear esos sí tiene un coste en visibilidad, y es un coste que mucha gente se lleva por accidente al aplicar una lista entera sin mirarla.
La decisión razonable casi siempre es bloquear el entrenamiento y dejar pasar la recuperación. El preajuste es un punto de partida, no una recomendación cerrada: quita de la lista lo que quieras que te siga encontrando.
Construir el archivo y dónde tiene que vivir
- Elige un preajuste o empieza en blanco, y añade grupos de reglas con su agente de usuario.
- Añade líneas
AllowyDisallowa cada grupo. - Pon la URL de tu sitemap si tienes uno.
- Prueba rutas concretas en el comprobador de abajo antes de dar nada por bueno.
- Descarga el archivo.
El archivo tiene que servirse en https://tudominio.com/robots.txt, exactamente ahí, en la raíz del
dominio. Un robots.txt en un subdirectorio no lo lee nadie, y cada subdominio necesita el suyo
propio: el de ejemplo.com no dice nada sobre blog.ejemplo.com.
Si lo que estás preparando es el resto de las señales que lee un buscador, el generador de meta tags cubre las etiquetas de la página y el generador de datos estructurados el marcado de esquema.
