¿Cómo detectar y gestionar GPTBot, ClaudeBot y otros bots IA en los logs del servidor?
Los bots IA de OpenAI (GPTBot), Anthropic (ClaudeBot), Perplexity (PerplexityBot) y Google (Google-Extended) rastrean tu web de forma continua, pero Google Analytics y cualquier sistema de métricas basado en JavaScript son completamente ciegos a este tráfico porque los bots no ejecutan JavaScript. El único método fiable de detección es el análisis de los logs de acceso del servidor (Apache, Nginx o registros de CDN como Cloudflare). En esos logs, cada petición aparece con el user-agent del bot correspondiente: 'GPTBot/1.2', 'ClaudeBot/0.1', 'PerplexityBot/1.0'. Una vez detectados, la decisión de bloquear o permitir es estratégica, no técnica: un estudio de BuzzStream de marzo de 2026 sobre 4 millones de citas en LLMs descubrió que el 95% de los sitios citados bloqueaban los bots de entrenamiento, y el 70% de las citas de ChatGPT procedían de sitios que bloqueaban su bot de recuperación. Bloquear los bots de entrenamiento con robots.txt no reduce significativamente las citas en LLMs; bloquear los bots de recuperación sí puede tener impacto en tiempo real.
Ideas clave
- El 95% de todos los sitios citados por LLMs bloqueaban los bots de entrenamiento (GPTBot, Google-Extended) según el estudio BuzzStream de 4 millones de citas de marzo de 2026.
- GPTBot creció un 305% en peticiones entre mayo 2024 y mayo 2025; Anthropic rastreó 38.000 páginas por cada visita referida en julio 2025, según datos de Cloudflare Radar.
- Google Analytics es ciego al tráfico de bots IA porque no ejecutan JavaScript; el único método de detección fiable es el análisis de logs de acceso del servidor o los registros de CDN.
- llms.txt fue implementado por más de 844.000 sitios a octubre de 2025, pero ningún proveedor LLM principal ha confirmado oficialmente que sus crawlers lo lean de forma consistente.
- Los bots IA generan el 4,2% de todas las peticiones HTML en la red Cloudflare (2025), equivalente a 50.000 millones de peticiones diarias globales, de las cuales el 80% son para entrenamiento.
Google Analytics muestra cero visitas. Los logs del servidor muestran miles de peticiones. La brecha entre ambas métricas, que antes indicaba tráfico de spam o Googlebot, ahora incluye un tercer actor que ningún dashboard de analytics rastrea por defecto: los bots de los modelos de IA.
Entre febrero y marzo de 2026, la empresa de AI Visibility WISLR analizó 48 días de logs de servidor y documentó 12.099 peticiones de bots IA en ese periodo. El bot más activo no fue GPTBot: fue Meta-WebIndexer, con 1.833 peticiones, seguido de ChatGPT-User (923), Claude-SearchBot (549) y PerplexityBot (456). GPTBot solo contribuyó 187 peticiones directas, pero su peso en el impacto en el entrenamiento de modelos es desproporcionado al volumen de peticiones.
El mismo análisis detectó un comportamiento que revela cómo estos sistemas coordinan su descubrimiento de contenido: el 18 y 19 de marzo de 2026, ClaudeBot y GPTBot solicitaron el archivo sitemap.xml el mismo día, desde empresas distintas y sin vinculación técnica aparente. Una señal de que los estándares de descubrimiento de contenido para LLMs están convergiendo silenciosamente.
Qué bots IA rastrean tu web en 2026: la lista completa de user-agents
La primera tarea para gestionar el tráfico de bots IA es saber exactamente cuáles visitan tu sitio y con qué propósito. Cada empresa tiene múltiples bots con roles distintos: entrenamiento de modelos, indexación para búsqueda en tiempo real y peticiones iniciadas por usuarios.
OpenAI opera tres bots documentados: GPTBot (entrenamiento de modelos, user-agent: GPTBot/1.2), OAI-SearchBot (indexación para ChatGPT Search) y ChatGPT-User (peticiones en tiempo real iniciadas por usuarios de ChatGPT). La distinción es crítica: bloquear GPTBot afecta al entrenamiento futuro pero no a las citas en ChatGPT Search, que usa OAI-SearchBot.
Anthropic tiene la misma estructura tripartita: ClaudeBot (entrenamiento, ClaudeBot/0.1), Claude-SearchBot (indexación para búsqueda en Claude.ai) y Claude-User (peticiones de usuarios). Los tres están documentados en support.anthropic.com.
Perplexity distingue entre PerplexityBot (indexación periódica) y Perplexity-User (recuperación en tiempo real por consulta de usuario), ambos en docs.perplexity.ai.
Google añade Google-Extended al catálogo habitual de Googlebot: este bot controla específicamente el uso del contenido para entrenar Gemini y Vertex AI, de forma independiente al indexado de búsqueda. Bloquearlo con Disallow: / para User-agent: Google-Extended no afecta al ranking orgánico.
El resto del ecosistema incluye CCBot (Common Crawl, base de entrenamiento de muchos LLMs), Applebot-Extended (Apple Intelligence), Amazonbot (Alexa AI), Bytespider (ByteDance) y más de una decena de agentes adicionales sin documentación oficial pública.
Cómo detectar bots IA en los logs del servidor
El log de acceso de Apache o Nginx registra cada petición HTTP con el timestamp, IP de origen, URL solicitada, código de respuesta y user-agent del cliente. Es la única fuente que ve el tráfico de bots IA en su totalidad, porque —a diferencia de Google Analytics— no depende de JavaScript.
Para filtrar exclusivamente el tráfico de GPTBot en un log de Nginx:
grep "GPTBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Ese comando devuelve las 20 URLs más rastreadas por GPTBot, ordenadas por frecuencia. Reemplazando "GPTBot" por cualquier user-agent de la lista anterior, obtienes el mismo análisis para ClaudeBot, PerplexityBot o Google-Extended.
Para usuarios de Cloudflare, el panel de Analytics bajo “Security > Bots” muestra tráfico de bots con clasificación automática, aunque agrupa categorías. Los Cloudflare Workers Logs y el acceso a los logs de CDN desde la API ofrecen más granularidad si necesitas distinguir entre bot de entrenamiento y bot de recuperación.
Las herramientas especializadas, como GoAccess para visualización de logs en tiempo real o Screaming Frog Log Analyser, permiten cargar los logs y segmentar por user-agent con interfaz gráfica, útil para webs con volúmenes altos donde el análisis con grep se vuelve lento.
A diferencia del análisis de logs para Googlebot, donde el foco está en el crawl budget y el comportamiento de indexado, el análisis de logs de bots IA busca responder tres preguntas distintas: cuánto rastrean, qué páginas priorizan y si el tipo de bot (entrenamiento vs. recuperación) que domina el tráfico condiciona las decisiones de bloqueo.
GPTBot vs. ClaudeBot: frecuencia de rastreo y comportamiento
Los datos de Cloudflare Radar muestran que GPTBot creció un 305% en volumen de peticiones entre mayo de 2024 y mayo de 2025, pasando del 4,7% al 11,7% del share de crawlers en ese periodo. En el mismo intervalo, el tráfico de Googlebot también creció un 96%, señal de que el ecosistema de bots está expandiéndose globalmente, no desplazándose.
La diferencia de comportamiento más llamativa es el ratio crawl-to-referral: cuántas páginas rastrea un bot por cada visita real que envía al sitio. Para Googlebot, ese ratio oscila entre 3:1 y 30:1 según el tipo de sitio. Para Anthropic, Cloudflare documentó en julio de 2025 un ratio de 38.000:1 —38.000 páginas rastreadas por cada visita referida a sitios externos. Este dato explica por qué muchos webmasters ven picos de tráfico de ClaudeBot en los logs sin ninguna visita referida correspondiente en Analytics.
El comportamiento de GPTBot es más similar a un crawl de indexación tradicional: rastreo incremental, respeto de crawl-delay en robots.txt cuando se especifica, y preferencia por páginas de alta autoridad según los análisis de terceros. ClaudeBot tiene un patrón más agresivo de exploración en profundidad, especialmente en sitios con arquitectura de contenido densa.
En cuanto a la distribución por tipo de contenido, los bots IA muestran preferencia por artículos con estructura H2-H3 clara, datos estadísticos, tablas comparativas y secciones de FAQ, exactamente los formatos que también prefieren los algoritmos de citación de LLMs. El análisis de tu robots.txt frente al impacto de la IA en el posicionamiento y el crawling es una combinación que determina qué parte de tu contenido está disponible para ser citada.
¿Bloquear o permitir? La decisión estratégica
El estudio más relevante sobre esta pregunta es el de BuzzStream, publicado en marzo de 2026 y basado en 4 millones de citas analizadas en ChatGPT, Gemini, AI Overviews y AI Mode. El hallazgo principal contradice la intuición: el 95% de todos los sitios citados bloqueaban al menos un bot de entrenamiento con robots.txt, y el 70% de las citas de ChatGPT procedían de sitios que bloqueaban específicamente el bot de recuperación de ChatGPT.
La explicación técnica es que muchos sistemas de recuperación IA no llegan al servidor origen: extraen datos de snippets de SERP (título, URL, fragmento indexado por Google) o de cached versions del contenido. El bloqueo via robots.txt es parcialmente ineficaz porque los datos ya estaban en los datasets de entrenamiento o en el caché de Google antes del bloqueo.
La recomendación operativa distingue entre dos tipos de decisión. Para bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot): el bloqueo protege el contenido de ser usado en futuros ciclos de entrenamiento, pero no afecta a las citas en las versiones actuales de los modelos. Si el contenido es sensible o propietario, el bloqueo tiene sentido; si es contenido público de marketing, el coste de oportunidad puede superar el beneficio.
Para bots de recuperación (OAI-SearchBot, Claude-SearchBot, PerplexityBot): estos bots alimentan los sistemas de búsqueda en tiempo real de cada LLM. Bloquearlos sí reduce la probabilidad de ser citado en respuestas a preguntas recientes. Para webs que quieren maximizar la citabilidad en IA, estos bots deben estar permitidos.
llms.txt: el protocolo que compite con robots.txt por la IA
Cuando Jeremy Howard publicó la especificación de llms.txt en septiembre de 2024, la premisa era simple: así como robots.txt le dice a los crawlers qué no rastrear, llms.txt le dice a los LLMs qué leer primero. El formato es Markdown plano en la raíz del dominio, con una descripción del sitio y una lista estructurada de recursos relevantes con sus URLs y descripciones.
# Ighenatt — Agencia SEO Barcelona
> Agencia SEO especializada en técnico, contenido y IA generativa.
## Blog SEO
- [Entity SEO y Knowledge Graph](/blog/entity-seo-optimizacion-entidades-ia/): Construir marca como entidad
- [Guía de auditoría SEO técnica](/blog/guia-auditorias-seo-tecnicas/): Proceso paso a paso
## Recursos
- [Recursos SEO](/recursos/): Guías técnicas descargablesA octubre de 2025, más de 844.000 sitios tenían llms.txt implementado, incluyendo la propia Anthropic y Cloudflare. El problema es el cumplimiento: ningún proveedor LLM principal ha confirmado que sus crawlers lean llms.txt de forma consistente. Anthropic reconoció en documentación interna que “sus sistemas lo consideran cuando existe”, sin más precisión técnica. OpenAI y Google no han hecho declaraciones públicas sobre su uso del estándar.
La diferencia fundamental con robots.txt es que este último tiene consecuencias inmediatas y verificables (en 24-48 horas puedes confirmar en Search Console que Googlebot respeta el bloqueo); llms.txt carece de ese mecanismo de verificación. Sin embargo, el coste de implementación es mínimo y el riesgo es cero: si en el futuro los LLMs empiezan a seguirlo consistentemente, los sitios que ya lo tienen implementado tendrán ventaja estructural sin esfuerzo adicional.
Impacto en las citas IA: checklist técnico para 2026
La decisión final sobre qué bloquear depende del objetivo de negocio y del tipo de contenido. La siguiente tabla de decisión aplica a la mayoría de webs de empresas y agencias:
Para contenido de marketing y blog público: permitir todos los bots de recuperación, evaluar bloqueo de bots de entrenamiento según política de uso de contenido. Implementar llms.txt con los recursos más relevantes.
Para herramientas o contenido con ventaja competitiva técnica: bloquear bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended), permitir bots de recuperación. Añadir X-Robots-Tag: noai en los headers HTTP de las páginas con contenido sensible.
Para webs de noticias o con contenido de actualidad: permitir todos los bots de recuperación para maximizar citas en respuestas a preguntas recientes. El modelo de negocio de citabilidad IA compensa el coste del rastreo.
El siguiente paso es el SEO programático para generar sistemáticamente el tipo de contenido que los bots de recuperación priorizan: páginas con estructura clara, datos verificables y respuestas directas a preguntas de alta frecuencia de búsqueda.
Fuentes y referencias
-
Overview of OpenAI Crawlers (GPTBot, ChatGPT-User, OAI-SearchBot) (platform.openai.com)
-
Does Anthropic crawl data from the web? (ClaudeBot documentation) (support.anthropic.com)
-
Perplexity Crawlers (PerplexityBot documentation) (docs.perplexity.ai)
-
From Googlebot to GPTBot: who's crawling your site in 2025 (blog.cloudflare.com)
-
Meet llms.txt, a proposed standard for AI website content crawling (searchengineland.com)
Comparte este artículo
Si te ha resultado útil este contenido, compártelo con tus colegas.
Preguntas Frecuentes
¿Por qué Google Analytics no registra el tráfico de GPTBot y ClaudeBot?
Google Analytics, junto con cualquier sistema de analítica que funcione mediante una etiqueta JavaScript (GA4, Matomo, Plausible con JS), opera interceptando la ejecución del script de seguimiento en el navegador del visitante. Los bots IA no son navegadores: son clientes HTTP que realizan peticiones directas al servidor para obtener el HTML crudo de las páginas. No ejecutan JavaScript, no cargan scripts externos y no disparan eventos de seguimiento. Desde la perspectiva de Google Analytics, una visita de GPTBot es invisible —no existe en los informes de tráfico, no afecta a las tasas de rebote y no aparece en los informes de sesiones. El único sistema capaz de registrar estas visitas es el log de acceso del servidor, que registra cada petición HTTP independientemente de si incluye JavaScript o no. Cloudflare y otras CDNs también registran estas peticiones en sus logs, accesibles desde el panel de gestión. Si solo miras Analytics para entender quién visita tu web, estás viendo una fracción del tráfico real que tus servidores procesan.
¿Bloquear GPTBot perjudica el posicionamiento en las respuestas de ChatGPT?
Según los datos disponibles, bloquear los bots de entrenamiento como GPTBot tiene un impacto limitado en las citas de ChatGPT. El estudio de BuzzStream (marzo 2026, 4 millones de citas analizadas) encontró que el 70% de todas las citas de ChatGPT procedían de sitios que bloqueaban específicamente el bot de recuperación de ChatGPT (OAI-SearchBot o ChatGPT-User). La razón técnica es que los modelos de lenguaje como GPT-4 se entrenan con datos históricos de Common Crawl y otras fuentes, y ese entrenamiento no se actualiza en tiempo real con cada visita de GPTBot. Sin embargo, para ChatGPT Search (el modo de búsqueda en tiempo real), sí importa permitir el bot de recuperación (OAI-SearchBot, ChatGPT-User), que es distinto del bot de entrenamiento (GPTBot). La recomendación práctica: bloquear GPTBot no protege tu contenido del entrenamiento previo, pero puede reducir la carga del servidor. Bloquear OAI-SearchBot sí puede reducir las citas en el modo de búsqueda en tiempo real de ChatGPT.
¿Qué es llms.txt y vale la pena implementarlo ahora?
llms.txt es un archivo Markdown en texto plano ubicado en la raíz del dominio (tudominio.com/llms.txt) que guía a los modelos de lenguaje hacia los recursos más relevantes y autorizados del sitio, con una estructura similar a un README simplificado. Lo propuso Jeremy Howard (co-creador de fast.ai) en septiembre de 2024. A octubre de 2025, más de 844.000 sitios lo habían implementado, incluyendo Anthropic y Cloudflare. La pregunta práctica es si vale la pena: ningún proveedor LLM principal (OpenAI, Anthropic, Google) ha confirmado oficialmente que sus crawlers lean o sigan llms.txt de forma consistente. Anthropic ha reconocido que sus sistemas consideran el archivo cuando existe, pero sin dar más detalles técnicos. El coste de implementarlo es mínimo (un archivo de texto de 50-200 líneas), el riesgo es cero, y si en el futuro los LLMs empiezan a seguirlo consistentemente, los sitios que ya lo tienen implementado tendrán ventaja. La recomendación: implementarlo en 30 minutos como inversión de bajo coste con potencial upside futuro.
¿Cómo configurar robots.txt para gestionar selectivamente los diferentes bots IA?
La gestión selectiva en robots.txt requiere distinguir entre los diferentes user-agents de cada empresa, ya que cada proveedor tiene múltiples bots con propósitos distintos. Para OpenAI: GPTBot es el bot de entrenamiento (bloquearlo reduce el consumo de entrenamiento futuro, no las citas actuales); OAI-SearchBot y ChatGPT-User son los bots de recuperación para ChatGPT Search (bloquearlos reduce citas en tiempo real). Para Anthropic: ClaudeBot es entrenamiento; Claude-SearchBot y Claude-User son recuperación. Para Perplexity: PerplexityBot es indexación periódica; Perplexity-User es recuperación en tiempo real. La configuración básica para bloquear solo entrenamiento y permitir recuperación en robots.txt sería: 'User-agent: GPTBot / Disallow: /' para entrenamiento, manteniendo los bots de recuperación sin restricción. Google-Extended controla el uso de tu contenido para entrenar Gemini y Vertex AI, de forma independiente a Googlebot, que sigue funcionando normalmente aunque bloquees Google-Extended.
