En corto
GPTBot, ClaudeBot, OAI-SearchBot… No todos los bots de IA hacen lo mismo. Te explicamos cuáles conviene dejar pasar, cómo puedes estar bloqueándolos sin saberlo y por qué en Traiker les hemos abierto nuestra web.
En este artículo
En corto
Depende de qué bot. Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) conviene dejarlos pasar casi siempre: si los bloqueas, desapareces de las respuestas. Los de entrenamiento (GPTBot, ClaudeBot, Google-Extended) son una decisión de negocio. En Traiker hemos abierto la puerta a todos en nuestra web pública, y te contamos por qué.
¿Qué bots de IA visitan tu web?
Cada empresa de IA usa varios bots, y se controlan por separado en el robots.txt:
- Bots de entrenamiento. GPTBot (OpenAI), ClaudeBot (Anthropic) y Google-Extended (Google) recogen contenido que puede usarse para entrenar los modelos.
- Bots de búsqueda. OAI-SearchBot, Claude-SearchBot o PerplexityBot indexan páginas para citarlas cuando alguien pregunta.
- Bots que actúan por encargo de un usuario. ChatGPT-User o Claude-User abren una página cuando una persona se lo pide en el chat.
Según la documentación de OpenAI, cada ajuste es independiente: puedes permitir OAI-SearchBot para salir en las búsquedas de ChatGPT y bloquear GPTBot para que tu contenido no se use en entrenamiento. Google dice lo mismo de Google-Extended: no afecta a tu presencia en Google Search ni es una señal de posicionamiento. Y Anthropic avisa de que bloquear Claude-SearchBot puede restarte visibilidad en Claude.
¿Puedes estar bloqueándolos sin saberlo?
Sí, y nos pasó. En el robots.txt de traiker.com encontramos un bloque que no habíamos escrito: lo añadía Cloudflare, nuestro proveedor de red, y prohibía la entrada a GPTBot, ClaudeBot, Google-Extended y otros bots de entrenamiento. Además, esos bots recibían un error 403 antes de llegar a la web.
La documentación de Cloudflare lo explica: si la política de entrenamiento está en «Disallow» con la sincronización de preferencias activa, Cloudflare antepone sus reglas a tu robots.txt y bloquea esos bots en el borde. Tu archivo puede decir una cosa y la web hacer otra: abre de vez en cuando tudominio.com/robots.txt y léelo entero.
¿Por qué en Traiker dejamos entrar a los bots de entrenamiento?
Porque somos una marca nueva y queremos que los modelos sepan que existimos. Un estudio de la Universidad de Toronto sobre 158.099 respuestas de buscadores con IA encontró que ChatGPT mete en sus búsquedas una marca en el 67 % de los casos cuando ya la conoce, frente al 11 % cuando no. Y el 46 % de las veces que nombra una marca que el usuario no había mencionado, no hay ninguna página citada que la respalde: la saca de memoria.
El mismo estudio advierte de que son asociaciones, no causa y efecto, y de que en un mercado de proveedores B2B pequeños el modelo apenas conocía a las marcas. Justo nuestro caso. Así que el 23 de octubre quitamos el bloqueo de Cloudflare y dejamos en nuestro robots.txt permiso explícito para los bots de búsqueda, de usuario y de entrenamiento.
¿Y eso no choca con «no entrenamos con tus datos»?
No, porque son cosas distintas. Nuestra web pública está hecha para que la lea cualquiera, persona o máquina. Los datos que guardas en Traiker no son públicos: cada persona o empresa tiene su propia base de datos cifrada, no la usamos para entrenar modelos y tus asistentes solo la consultan cuando tú los conectas por MCP.
Si te preocupa lo que hacen las IA con tus conversaciones, lo tienes en qué hacen ChatGPT, Claude y Grok con lo que les cuentas. Y si estás pensando en cómo llevar tu empresa a la IA, empieza por qué significa ser una empresa IA First.
Preguntas frecuentes
¿Bloquear GPTBot me saca de ChatGPT?
No de sus búsquedas, según OpenAI, si dejas pasar a OAI-SearchBot. Solo indicas que no quieres que tu contenido se use para entrenar.
¿Los bots respetan siempre el robots.txt?
No hay garantía. Cloudflare recuerda que cumplirlo es voluntario, y OpenAI dice que en las visitas que inicia un usuario (ChatGPT-User) puede no aplicarse.
¿Cuánto tarda en notarse un cambio?
OpenAI calcula unas 24 horas para que su búsqueda se ajuste a un robots.txt nuevo. En el entrenamiento, solo afecta a lo que recojan a partir de ese momento.
Si quieres que tu información importante esté en un sitio tuyo y tus asistentes trabajen con ella, apúntate a la beta de Traiker.
