Qué rastreadores de IA pueden leer tu sitio web: los que importan y lo que cuesta bloquear cada uno
En resumen
La mayoría de los robots.txt que bloquean rastreadores de IA se escribieron para que el contenido no se usara en el entrenamiento de modelos. Casi ninguno pretendía sacar el sitio web de los resultados de búsqueda de ChatGPT, y sin embargo eso es lo que hacen muchos. Este artículo ordena los rastreadores de IA que deciden la visibilidad comercial según para qué sirve realmente cada uno, explica lo que cuesta bloquearlo y muestra por qué el rastreador que falla suele quedarse parado en la CDN y no en el robots.txt.
Simon WilhelmCofundador
Simon es cofundador de scaile y trabaja con equipos de empresa en su visibilidad en la búsqueda con IA, desde la primera auditoría hasta cifras de cuota de voz que se pueden defender.
Puntos clave
Tres proveedores aplican ya el mismo reparto en tres: un rastreador de entrenamiento, un rastreador de búsqueda y un agente que consulta páginas a petición del usuario. OpenAI opera GPTBot, OAI-SearchBot y ChatGPT-User; Anthropic, ClaudeBot, Claude-SearchBot y Claude-User; Amazon, Amazonbot, Amzn-SearchBot y Amzn-User. Perplexity, Apple y Google hacen cada uno algo distinto.
Bloquear GPTBot deja tu contenido fuera de los datos de entrenamiento. Bloquear OAI-SearchBot significa, en palabras de la propia OpenAI, que el sitio "no se mostrará en las respuestas de búsqueda de ChatGPT", aunque todavía puede aparecer como enlace de navegación. Son decisiones completamente distintas que se escriben en líneas contiguas del mismo archivo y se controlan por separado.
Los agentes que consultan páginas a petición del usuario en su mayoría no obedecen el robots.txt, y sus proveedores lo dicen abiertamente. Anthropic es la excepción: afirma que sus tres bots respetan el robots.txt, Claude-User incluido.
Google-Extended es un token de control sin rastreador propio detrás. Regula el entrenamiento de Gemini y el grounding (anclar las respuestas en contenido recuperado), y Google afirma que "no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento".
El robots.txt es solo el primer sitio donde mirar. La CDN o el WAF (cortafuegos de aplicaciones web) que hay delante del servidor es el fallo que ningún comprobador de robots.txt ve, y la propia documentación de Perplexity incluye una sección para desbloquear sus bots en Cloudflare y AWS WAF: un proveedor solo escribe esa sección porque sus clientes tropiezan con el problema una y otra vez.
Con el acceso confirmado, el trabajo que queda es de contenido. scaile escribe las respuestas que buscan tus compradores, comprueba cada afirmación y presenta cada una a tu equipo para su aprobación, en los 14 días siguientes al onboarding.
Hay alrededor de una docena de rastreadores de IA que vale la pena conocer, y se dividen en tres tipos: bots que recogen datos de entrenamiento, bots que construyen un índice de búsqueda que el asistente consulta al responder, y bots que traen una página concreta porque un usuario acaba de preguntar algo. Bloquear un rastreador de entrenamiento es una decisión editorial defendible que no afecta a la visibilidad de hoy. Bloquear un rastreador de búsqueda o de consulta saca a tu empresa de las respuestas que tus compradores leen esta misma tarde, y eso casi nunca es lo que pretendía quien editó el robots.txt.
El fallo más habitual es todavía más discreto: el robots.txt permite el acceso al bot y la CDN lo bloquea igualmente.
Dejar bien el acceso es un día de trabajo y una condición previa, no el objetivo. Una vez que los rastreadores pasan, que tu empresa reciba citas depende de que en el sitio web exista de verdad una respuesta completa y con fuentes a cada una de las preguntas de compra. Esa es la mitad que la mayoría de las empresas nunca empieza, y es la mitad que scaile gestiona como un único proceso: un estratega de AI search asignado, investigación a partir de la base de conocimiento de tu empresa, cada dato comprobado y tu equipo aprobando antes de que se publique nada, en marcha en 14 días.
¿Qué rastreadores piden realmente tus páginas?
Cada fila procede de la documentación publicada por el propio operador, salvo donde la tabla indica que no existe tal documentación. Donde la documentación es ambigua o está en disputa, la tabla lo dice en lugar de suponer.
| Rastreador | Operador | Entrenamiento o respuestas en directo | Obedece el robots.txt | Lo que cuesta bloquearlo |
|---|---|---|---|---|
GPTBot | OpenAI | Entrenamiento | Sí | Nada hoy. El contenido queda excluido del entrenamiento de futuros modelos fundacionales. |
OAI-SearchBot | OpenAI | Respuestas en directo | Sí | No aparece en las respuestas de búsqueda de ChatGPT; puede seguir apareciendo como enlace de navegación. |
ChatGPT-User | OpenAI | En directo, a petición del usuario | “Puede que las reglas del robots.txt no se apliquen” | Poco por la vía del robots.txt. No se usa para decidir la aparición en la búsqueda. |
ClaudeBot | Anthropic | Entrenamiento | Sí | El material futuro queda excluido de los conjuntos de entrenamiento de Claude. |
Claude-SearchBot | Anthropic | Respuestas en directo | Sí | El contenido no se indexa para la búsqueda de Claude, lo que reduce la visibilidad en las respuestas. |
Claude-User | Anthropic | En directo, a petición del usuario | Sí (según la política declarada de Anthropic) | Claude no puede recuperar la página cuando un usuario pregunta por tu empresa. |
PerplexityBot | Perplexity | Respuestas en directo, explícitamente no entrenamiento | Sí | El sitio no aparece ni se enlaza en los resultados de Perplexity. |
Perplexity-User | Perplexity | En directo, a petición del usuario | “En general ignora las reglas del robots.txt”, y además en disputa | Poco por la vía del robots.txt. Véase la disputa más abajo. |
Google-Extended | Entrenamiento y grounding de Gemini | Solo token de control, sin rastreador propio | Gemini no puede anclar sus respuestas en tu contenido. Ningún efecto en la Búsqueda de Google. | |
CCBot | Common Crawl | Corpus de entrenamiento | Sí (Common Crawl indica cómo bloquearlo en el robots.txt) | El sitio sale del archivo abierto de rastreo del que se nutren muchos desarrolladores de modelos. |
Bytespider | ByteDance | Entrenamiento | Sin documentación pública comparable | Poco en los mercados occidentales: Cloudflare midió que su cuota del tráfico de rastreo (en un grupo de más de 30 rastreadores de IA y de buscadores) cayó del 22,8 al 2,9 % entre mayo de 2024 y mayo de 2025. |
Amazonbot | Amazon | Mejora de productos y entrenamiento de IA | Sí | El contenido queda fuera de la mejora de productos de Amazon y del entrenamiento de modelos de Amazon que pueda alimentar el rastreo. |
Applebot-Extended | Apple | Solo entrenamiento | Solo token de control, sin rastreador propio | Los modelos fundacionales de Apple no se entrenan con tu contenido. Spotlight, Siri y la búsqueda de Safari no se ven afectados. |
meta-externalagent | Meta | Entrenamiento e indexación | Sí | El contenido queda excluido del entrenamiento de los modelos fundacionales de Meta. |
Dos de esas filas merecen una frase propia. Applebot-Extended no es un rastreador; la documentación de Apple deja claro que, aunque se bloquee, el contenido “seguirá siendo localizable a través de Spotlight, Siri y Safari”. Y Meta opera además un Meta-WebIndexer para la calidad de los resultados de búsqueda de Meta AI, que es el que importa si el objetivo es que Meta AI cite el sitio, no solo que entrene con él.
La tabla es una selección, no un registro completo. Los mismos operadores tienen otros tokens que rara vez cambian una decisión por sí solos: el propio Applebot, que hace el rastreo que el token Applebot-Extended regula; Amzn-SearchBot y Amzn-User; meta-externalfetcher; y OAI-AdsBot. Todos están documentados en las fuentes al final de este artículo.
¿Qué diferencia hay entre un rastreador de entrenamiento y uno de citas?
Un rastreador de entrenamiento se lleva una copia de la página a un conjunto de datos. Lo que recoge influye en una generación de modelos que sale meses después, y nada de lo que se publica hoy llega antes a una respuesta por esa vía.
Un rastreador de citas alimenta un índice en directo. Cuando alguien hace a ChatGPT una pregunta que lanza una búsqueda, el sistema recupera fragmentos de ese índice y enlaza a la fuente. Ese camino se mide en días, no en generaciones de modelos, y es donde vive de verdad la visibilidad comercial.
OpenAI formula la separación con toda claridad: un webmaster puede permitir OAI-SearchBot para aparecer en los resultados de búsqueda y, a la vez, bloquear GPTBot para indicar que el contenido rastreado no debe usarse para entrenamiento. Esa frase es toda la decisión. Negarse a ser material de entrenamiento y seguir siendo citable es una postura coherente que muchos editores mantienen a propósito. Bloquear ambos porque una plantilla decía User-agent: * no es una postura, es un accidente.
El tercer tipo, el agente que consulta a petición del usuario, es el que más se malinterpreta. OpenAI escribe que, como las acciones de ChatGPT-User “las inicia un usuario, puede que las reglas del robots.txt no se apliquen”, y Perplexity dice de Perplexity-User que, “como un usuario solicitó la consulta, este agente en general ignora las reglas del robots.txt”. Meta dice lo mismo de meta-externalfetcher, y Amazon de Amzn-User. Si el objetivo era impedir que los asistentes leyeran las páginas, el robots.txt nunca fue la herramienta adecuada. Anthropic es aquí la excepción y conviene señalarlo: afirma que todos sus bots, Claude-User incluido, respetan las directivas del robots.txt.
¿Ignora realmente Perplexity-User el robots.txt?
La respuesta honesta es que la información está en disputa y no conviene aceptar sin más ninguna de las dos versiones.
La documentación de Perplexity dice lo que dice: Perplexity-User en general ignora el robots.txt porque la consulta la pidió un usuario. El 4 de agosto de 2025, Cloudflare publicó una acusación mucho más grave: que Perplexity usaba agentes de usuario no declarados que se hacían pasar por Chrome en macOS y rotaba direcciones IP entre distintos ASN para llegar a contenido de dominios de prueba recién comprados cuyo robots.txt lo prohibía todo. Cloudflare retiró a Perplexity de su lista de bots verificados. Perplexity rechazó públicamente la conclusión el mismo día: sostuvo que Cloudflare había confundido las peticiones de asistentes que actúan por encargo de un usuario con el rastreo automatizado, lo calificó de golpe publicitario y atribuyó buena parte del tráfico que Cloudflare observó a BrowserBase, un servicio externo de navegadores automatizados que, según Perplexity, solo usa de forma ocasional.
No hemos reproducido ninguno de los dos experimentos, así que no emitimos un veredicto. Lo que sí es seguro: el robots.txt es una petición, no un control. Si de verdad hace falta que una página no se consulte, eso requiere autenticación o una regla en el servidor, y siempre fue así.
¿Por qué el robots.txt dice que sí y el rastreador recibe un 403?
Es el hallazgo que más aparece en las auditorías reales, y ningún comprobador de robots.txt lo muestra. El archivo permite el bot. La CDN, el WAF o la regla de gestión de bots que hay delante del servidor no lo permite, porque estos rastreadores llegan sin cookies, sin ejecutar JavaScript y desde direcciones de centros de datos, que es exactamente la firma que una regla genérica contra bots está pensada para frenar.
No hace falta creerlo a ciegas. La propia documentación de Perplexity incluye instrucciones paso a paso para permitir sus bots en Cloudflare WAF y AWS WAF, combinando la coincidencia del agente de usuario con sus rangos de IP publicados. Un proveedor escribe esa sección porque sus clientes siguen topándose con el problema, no porque alguien imaginara que podría pasar.
Anthropic añade una advertencia relacionada que conviene tener en cuenta en la dirección contraria: bloquear sus bots por dirección IP “puede no funcionar correctamente ni garantizar de forma permanente la exclusión”, porque impide que sus bots lean el robots.txt. Un bot que no puede descargar el robots.txt no puede obedecerlo.
¿Cómo se verifica bien el acceso?
Tres comprobaciones, en este orden, y la mayoría de las herramientas solo hace la primera.
Leer el robots.txt como lo lee el bot. El orden de los grupos y el tratamiento de los comodines importan, y un Disallow: / bajo User-agent: * se aplica a todos los rastreadores que no se nombran de forma explícita. El Sitemap Visualiser gratuito lee el robots.txt y todos los sitemaps que hay detrás y dibuja qué secciones son accesibles, lo que es más rápido que razonar a mano sobre la precedencia.
Revisar los registros del servidor en busca de visitas reales. La configuración dice lo que debería pasar; los registros, lo que pasó. Conviene filtrar por los tokens de la tabla anterior y mirar los códigos de estado, no solo si la petición existe. Una serie de 403 a OAI-SearchBot es todo el diagnóstico. Si un bot no ha aparecido en noventa días, eso también es un hallazgo.
Comprobar que las peticiones son auténticas. Los agentes de usuario se falsifican con facilidad, así que conviene confirmar antes de incluirlos en una lista de permitidos. OpenAI, Anthropic, Perplexity, Apple, Google y Common Crawl publican sus rangos de IP en archivos JSON; Amazon publica sus listas de IP en su documentación. Google y Apple admiten además la verificación por DNS inverso. Agente de usuario coincidente más IP verificada es la combinación que la propia Perplexity recomienda para las reglas de WAF.
Para los rastreadores a los que se quiere dar paso, las entradas del robots.txt deben ser mínimas y explícitas:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Si además se permite GPTBot, ClaudeBot, CCBot y Google-Extended es una cuestión aparte y editorial sobre los datos de entrenamiento. Merece una respuesta aparte.
¿Cambia algo de esto el llms.txt?
No, y los datos ya no dejan lugar a dudas. Ahrefs analizó 137.210 dominios en 2026 y comprobó que el 97 % de los dominios con un llms.txt válido no recibió ni una sola petición de ese archivo en mayo de 2026. En el pequeño resto, ningún bot de IA superó a las herramientas de auditoría SEO, que fueron la mayor fuente de peticiones con un 21,7 %; todos los bots de IA juntos sumaron el 19,5 %. Según Ahrefs, ninguna gran plataforma de IA se ha comprometido nunca a leer el archivo, y Google indica en su documentación que no hacen falta archivos de texto para IA para aparecer en sus funciones de IA.
Publicarlo no cuesta nada y no demuestra nada. El archivo que de verdad regula el acceso de los rastreadores es el robots.txt, y lo que de verdad decide si un sitio recibe citas es que exista una respuesta completa y con fuentes a la pregunta en una página a la que un rastreador pueda llegar.
¿Qué hacer cuando el acceso ya está limpio?
El acceso de los rastreadores es un mínimo, no una estrategia. Lleva una tarde, merece esa tarde y luego está hecho. Los datos de red de Cloudflare de 2025 mostraron que, entre los 3.816 dominios del top 10.000 en los que encontró un robots.txt, solo unos 546 (alrededor del 14 %) tenían directivas dirigidas específicamente a bots de IA. Eso no significa que el resto esté abierto (un Disallow: / general y una regla de WAF son invisibles para ese recuento), pero sí que el bloqueo deliberado de la IA es menos frecuente de lo que sugiere el debate.
Lo que viene después es más difícil y más lento: las preguntas que hacen tus compradores antes de decidir, cada una con una respuesta completa y con fuentes en el propio dominio. Ese es el trabajo que hace scaile. El motor encuentra las preguntas del tramo comercial del funnel, investiga a partir de la base de conocimiento de tu empresa y de fuentes actuales, comprueba cada afirmación y presenta cada artículo a tu equipo para su aprobación. Los artículos publicados se miden y se mejoran en lugar de dejarlos envejecer.
El primer paso es ver a qué pueden llegar hoy los rastreadores con el Sitemap Visualiser y después comprobar si la IA nombra a tu empresa con el AI Visibility Check. Si la respuesta es no y el acceso está limpio, la causa es una de las otras tres razones por las que ChatGPT no menciona a una empresa.
Preguntas frecuentes
¿Está bloqueado GPTBot en mi sitio web?
Hay que buscar en el robots.txt un grupo User-agent: GPTBot y un grupo User-agent: * con Disallow: /, que se aplica a GPTBot salvo que un grupo más específico lo anule. Después, revisar en los registros del servidor las peticiones reales de GPTBot y sus códigos de estado, porque una CDN puede devolver un 403 a un bot que el robots.txt permite.
¿Conviene bloquear GPTBot?
Depende de si la empresa se opone a que su contenido se use para entrenamiento. Bloquearlo no influye en que ChatGPT pueda citar el sitio hoy: de eso se encarga OAI-SearchBot, que se controla por separado. Muchos editores bloquean GPTBot a propósito y permiten OAI-SearchBot.
¿Bloquear Google-Extended perjudica el posicionamiento en Google?
No. Google afirma que Google-Extended “no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento en la Búsqueda de Google”. Lo que sí hace es impedir que Gemini ancle sus respuestas en ese contenido, lo que es un coste real, aunque no en la Búsqueda.
¿Se puede impedir del todo que los asistentes de IA lean las páginas?
No con el robots.txt. Los agentes que consultan a petición del usuario (ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User) indican en su propia documentación que el robots.txt puede no aplicárseles. Cualquier cosa más fuerte requiere autenticación o un bloqueo en el servidor.
¿Por qué un comprobador de rastreadores dice que todo está bien si el sitio sigue sin recibir citas?
Porque esas herramientas leen el robots.txt y nada más. No ven una regla de WAF, un límite de peticiones, un bloqueo geográfico ni un 403 en el registro de accesos, y no pueden saber si en el sitio existe siquiera una respuesta a la pregunta.
¿Ayuda el llms.txt a que los rastreadores de IA encuentren el contenido?
No. En un estudio de 137.210 dominios, el 97 % de los dominios con llms.txt no recibió ninguna petición del archivo, y ninguna gran plataforma de IA se ha comprometido a leerlo. Un robots.txt correcto y un sitemap completo hacen el trabajo que el llms.txt dice hacer.
El acceso de los rastreadores está limpio y seguimos sin recibir citas. ¿Quién se ocupa del resto?
El resto es contenido, y es un problema de producción más que técnico: cada pregunta de compra necesita una respuesta completa, con fuentes y actual en el propio sitio web, y esas respuestas hay que seguir escribiéndolas. scaile lo hace como infraestructura gestionada, con un estratega de AI search asignado, investigación a partir de la base de conocimiento de tu empresa, verificación de cada afirmación y tu equipo aprobando antes de publicar, en marcha en 14 días. Building Radar duplicó sus leads inbound cualificados en 90 días con este sistema.
Fuentes
- OpenAI: Overview of OpenAI Crawlers. GPTBot, OAI-SearchBot, ChatGPT-User y OAI-AdsBot: finalidad, cadenas de agente de usuario, comportamiento con el robots.txt, rangos de IP en JSON y la afirmación de que excluir OAI-SearchBot saca un sitio de las respuestas de búsqueda de ChatGPT.
- Anthropic: Does Anthropic crawl data from the web?, 7 de abril de 2026. ClaudeBot, Claude-User y Claude-SearchBot, la afirmación de que los tres respetan el robots.txt y la advertencia sobre el bloqueo por IP.
- Perplexity: Perplexity Crawlers. PerplexityBot y Perplexity-User, la frase “en general ignora las reglas del robots.txt” y las instrucciones para permitir sus bots en Cloudflare WAF y AWS WAF.
- Cloudflare: Perplexity is using stealth, undeclared crawlers, 4 de agosto de 2025. La acusación, en disputa, sobre agentes de usuario no declarados y rotación de IP.
- Perplexity: Agents or Bots? Making Sense of AI on the Open Web, 4 de agosto de 2025. La respuesta de Perplexity a Cloudflare, incluida la atribución del tráfico a BrowserBase.
- Google Search Central: Google common crawlers. Google-Extended como token de control sin agente de usuario propio, que cubre el entrenamiento y el grounding de Gemini, sin efecto en la Búsqueda.
- Google Search Central: AI features and your website. La indexación y la posibilidad de mostrar fragmento como requisito para AI Overviews y AI Mode, y que no hacen falta archivos especiales.
- Common Crawl: CCBot. Operador, token de agente de usuario, instrucciones de bloqueo en el robots.txt y rangos de IP.
- Amazon: Amazonbot. Amazonbot, Amzn-SearchBot y Amzn-User, y la afirmación de que Amzn-User puede no seguir todas las directivas del robots.txt.
- Apple: About Applebot. Applebot-Extended como exclusión del entrenamiento que mantiene intacta la localización en Spotlight, Siri y Safari.
- Meta: Web crawlers. meta-externalagent, Meta-WebIndexer y meta-externalfetcher, incluido que este último puede saltarse el robots.txt.
- Cloudflare: From Googlebot to GPTBot, who’s crawling your site in 2025, 1 de julio de 2025. Cuota de rastreo por bot, incluida la caída de Bytespider del 22,8 al 2,9 % entre mayo de 2024 y mayo de 2025, y que unos 546 de los 3.816 dominios del top 10.000 con robots.txt (alrededor del 14 %) incluían directivas dirigidas a bots de IA.
- Ahrefs: estudio sobre llms.txt, 137.210 dominios, 15 de junio de 2026. El 97 % de los dominios con llms.txt no recibió ninguna petición del archivo, y el reparto por categorías de las peticiones que sí hubo.
