Un sitio web profesional recibe hoy tráfico de rastreadores que no existían hace tres años: GPTBot para el entrenamiento de OpenAI, ClaudeBot para Anthropic, Google-Extended para los resúmenes generados por IA de Google, PerplexityBot para las respuestas de Perplexity. Cada uno respeta —o no— el protocolo de exclusión de robots, y cada uno cumple una función distinta según sirva para entrenar un modelo, indexar contenido para una respuesta conversacional o citar una fuente en tiempo real. Ignorar esta diversidad significa bloquear por error canales de adquisición que se han vuelto importantes, o dejar que se extraiga un contenido que hubiera sido mejor mantener fuera de los conjuntos de entrenamiento.
Las familias de rastreadores de IA y qué hacen
Detrás de la etiqueta genérica «rastreador de IA» se esconden tres usos distintos, que no requieren la misma política de acceso.
| User-agent | Editor | Función | Respeta robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Recopilación de contenido para el entrenamiento de modelos | Sí |
| ChatGPT-User | OpenAI | Navegación en tiempo real activada por un usuario en ChatGPT | Sí |
| ClaudeBot | Anthropic | Recopilación de contenido para el entrenamiento de modelos | Sí |
| Claude-User | Anthropic | Navegación en tiempo real para responder a una consulta del usuario | Sí |
| Google-Extended | Alimenta los resúmenes generados por IA y Gemini, distinto de Googlebot | Sí | |
| PerplexityBot | Perplexity | Indexación para respuestas citadas con fuentes | Parcialmente cuestionado |
| Applebot-Extended | Apple | Entrenamiento de las funciones de IA de Apple | Sí |
| Bytespider | ByteDance | Recopilación de contenido, uso poco documentado | Históricamente ignorado |
La distinción entre un rastreador de entrenamiento y un agente de navegación en tiempo real es central. Bloquear GPTBot no impide que ChatGPT-User visite una página cuando un usuario pide explícitamente información sobre un sitio determinado: son dos agentes separados, con reglas separadas en robots.txt.
Lo que robots.txt realmente puede hacer
El protocolo de exclusión de robots sigue siendo una convención, no una barrera técnica. Un rastreador respetuoso lo cumple; uno poco cuidadoso simplemente lo ignora, lo que explica las polémicas recurrentes en torno a Bytespider o a otros agentes menos identificables. Para los que sí lo respetan, la sintaxis sigue siendo la clásica del estándar REP (Robots Exclusion Protocol).
User-agent: GPTBot
Disallow: /cuenta/
Disallow: /busqueda/
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Bytespider
Disallow: /Este archivo ilustra una política diferenciada: permitir Google-Extended porque la visibilidad en los resúmenes de IA de Google sigue siendo estratégica, bloquear ClaudeBot si el editor no desea que su contenido sirva para entrenar un modelo de terceros, y cerrar el acceso a Bytespider por precaución. Cada sitio debe decidirlo según sus propios objetivos de negocio, no copiar una plantilla genérica.
Un Disallow: / colocado bajo un user-agent genérico (User-agent: *) también bloquea, por defecto, a los rastreadores de IA que no aparecen listados por su nombre, pero solo a los que respetan el protocolo. Comprobar la existencia de un bloque dedicado para cada robot que se quiera permitir o denegar explícitamente evita efectos colaterales.
llms.txt: una convención emergente, no un estándar
Aparecido a finales de 2024, el archivo llms.txt propone un resumen estructurado en Markdown del contenido de un sitio, pensado para que lo lea directamente un modelo de lenguaje en lugar de orientar a un rastreador. Se ubica en la raíz, junto a robots.txt y sitemap.xml.
llms.txt no está adoptado oficialmente por ninguno de los grandes proveedores de modelos como fuente de verdad para la indexación; su interés sigue siendo la legibilidad que ofrece a un agente que decide consultarlo.
En la práctica, el archivo enumera las secciones clave de un sitio con una breve descripción y un enlace, en un formato cercano a un índice comentado:
# Mail Studio
> Revista de actualidad técnica de las profesiones web.
## Secciones principales
- [Front-end](https://www.mail-studio.com/es/front-end-es/): frameworks, rendimiento, accesibilidad
- [IA](https://www.mail-studio.com/es/ia-es/): herramientas de IA para desarrolladores, MCP, agentes
- [Seguridad](https://www.mail-studio.com/es/seguridad/): hardening, vulnerabilidades, buenas prácticas
Su adopción sigue siendo desigual: ningún motor conversacional importante ha confirmado usarlo de forma sistemática para indexar o priorizar contenido. Publicarlo responde más a una apuesta razonable, de bajo coste de implementación, que a una obligación técnica, en el mismo espíritu que exponer capacidades mediante un servidor compatible con MCP, que persigue un objetivo similar: hacer que un sitio o un servicio sea legible de forma nativa por un agente, y no solo por una persona.
El papel de los datos estructurados en las respuestas de IA
El marcado Schema.org (Article, FAQPage, HowTo, Product) ya no sirve solo a los resultados enriquecidos de la búsqueda clásica. Los sistemas de respuesta conversacional se apoyan masivamente en esos mismos datos para extraer hechos verificables, citar una fuente con autor y fecha, o comprender la estructura de un artículo de blog. Un artículo sin marcado Article ni author explícito parte en desventaja frente a un competidor equivalente correctamente marcado.
¿Hay que bloquear los rastreadores de entrenamiento?
La pregunta divide a los editores de contenido. Bloquear GPTBot y ClaudeBot protege el valor de un contenido original frente a su reutilización gratuita por modelos de terceros, pero también priva al sitio de una forma de presencia en las futuras respuestas de esos mismos modelos, a medida que los usuarios se vuelcan hacia asistentes conversacionales en lugar de la búsqueda clásica. No existe una respuesta universal: un despacho de abogados o un editor de formación de pago tiene más que ganar bloqueando que un blog técnico que busca consolidar su notoriedad. La decisión depende del modelo de negocio, no de una buena práctica genérica que aplicar sin pensar.
Un compromiso cada vez más habitual consiste en permitir la indexación del contenido editorial público mientras se bloquean las zonas de mayor valor comercial —contenido premium, documentación técnica propia, páginas detalladas de precios— mediante reglas Disallow dirigidas a esos directorios en lugar de un bloqueo total del dominio.
Comprobar en la práctica qué visita un sitio
Más allá de la configuración declarativa, la única manera de saber qué ocurre realmente es examinar los registros del servidor. Filtrar por el user-agent, cruzado con la dirección IP de origen, permite distinguir un GPTBot auténtico de un impostor que se limita a copiar el user-agent declarado: los grandes proveedores publican rangos de IP oficiales u ofrecen verificación mediante resolución DNS inversa seguida de una resolución directa, el mismo método usado históricamente para autenticar a Googlebot.
| Error frecuente | Consecuencia |
|---|---|
Bloquear GPTBot pensando que también bloquea ChatGPT-User | El tráfico de navegación en tiempo real sigue llegando, ya que el bloqueo solo cubre el entrenamiento |
| Copiar un robots.txt genérico encontrado en internet sin adaptarlo | Bloqueo o permiso de rastreadores irrelevantes para la actividad del sitio |
| No revisar nunca los registros del servidor | Imposible saber si las reglas declaradas se respetan realmente |
| Publicar un llms.txt pero dejar que el contenido real se desincronice | El archivo se vuelve engañoso en cuanto se olvida una actualización editorial |
Lo que hay que recordar
La gestión de los rastreadores de IA se juega en tres niveles: robots.txt para fijar una política de acceso por agente, llms.txt como complemento opcional para los modelos que eligen leerlo, y los datos estructurados para que el contenido autorizado se interprete correctamente una vez recopilado. Ninguna de estas palancas es una garantía absoluta, pero su combinación sigue siendo la mejor protección disponible para un sitio que quiere decidir conscientemente su visibilidad en las respuestas generadas por IA.
En los sitios de clientes, la política habitual consiste en permitir los robots de navegación en tiempo real (ChatGPT-User, Claude-User, PerplexityBot) porque generan tráfico cualificado, y decidir caso por caso con los robots de entrenamiento puro. Un editor de contenido original tiene más que perder que un sitio de comercio electrónico estándar si sus páginas se extraen sin ninguna contrapartida. — Simon Janvier
Para profundizar: la guía IA para desarrolladores web y el panel GA4 y Search Console para seguir la evolución del tráfico procedente de referentes de IA.
