Cloudflare permite seguir en buscadores y vetar el entrenamiento de IA

Cloudflare ha dado un paso más en su política sobre los rastreadores de inteligencia artificial. Desde el 15 de septiembre, quienes gestionan su web a través de la red de la compañía pueden activar una opción llamada Disallow AI Training, pensada para resolver uno de los dilemas más incómodos del SEO actual: cómo seguir apareciendo en los buscadores sin ceder el contenido para entrenar modelos de IA.

El problema tiene nombre técnico: los rastreadores de uso mixto. Googlebot, Bingbot o Applebot sirven a la vez para la búsqueda tradicional y para alimentar funciones de IA. Hasta ahora, bloquear uno de esos usos en Cloudflare implicaba, en la práctica, renunciar también al otro. La nueva opción intenta separar ambos.

Tres categorías de bots desde julio

La novedad se apoya en la reorganización que Cloudflare anunció el 1 de julio. Desde entonces, todos sus clientes, incluidos los del plan gratuito, gestionan el tráfico de IA según lo que hace cada bot y no con un único interruptor de bloquear bots de IA. Las categorías son tres:

• Search: rastreadores que indexan contenido para responder después a preguntas de los usuarios. Cloudflare entiende que a cambio deben devolver tráfico de referencia u otra compensación justa.
• Agent: herramientas automáticas que actúan en tiempo real en nombre de una persona, como los fetchers de los chats o los agentes que navegan.
• Training: rastreadores que recogen contenido para entrenar o ajustar modelos.

Para cada categoría se puede bloquear en todas las páginas, bloquear solo en las páginas que muestran anuncios o permitir el acceso.

Qué hace Disallow AI Training

La nueva opción solo está disponible en el control de entrenamiento. Publica una preferencia de no entrenamiento en robots.txt mediante Bot Preference Sync, la herramienta de Cloudflare que genera ese archivo a partir de la configuración del panel. Los rastreadores de uso mixto que Cloudflare considera responsables (Accountable) pueden seguir rastreando para búsqueda, mientras que el resto de rastreadores de entrenamiento quedan bloqueados, incluidos los de entrenamiento puro de Amazon, Anthropic, Meta y OpenAI. Esas empresas separan sus bots de búsqueda y de entrenamiento, lo que permite cortar solo el segundo.

Lee también: Guía de GEO: cómo optimizar tu contenido para que lo citen las IA

Para recibir la etiqueta de responsable, el operador debe ofrecer o comprometerse a ofrecer cuatro cosas: un mecanismo para excluirse del entrenamiento, otro para excluirse de los resúmenes de IA, visibilidad por URL sobre qué páginas se usaron para entrenar junto con métricas de cómo aparece el contenido en búsqueda, y la garantía de que excluirse del entrenamiento no afecta a los resultados tradicionales.

Cada buscador lo resuelve de forma distinta. En el caso de Google, la exclusión del entrenamiento se hace con una regla Disallow para Google-Extended en robots.txt, que según Google no afecta a la inclusión ni a la posición en Search. Apple usa Applebot-Extended. Bing es la excepción: hoy gestiona estas preferencias con la metaetiqueta NOARCHIVE y su herramienta de bloqueo de URL, y su mecanismo de no entrenamiento vía robots.txt está previsto para principios de 2027. Hasta entonces, advierte Cloudflare, activar Disallow AI Training no envía esa señal a Bing a través de robots.txt.

Los nuevos ajustes por defecto

El 15 de septiembre también entraron en vigor los nuevos valores por defecto para los dominios que se incorporan a Cloudflare, que dependen de si la web se monetiza con publicidad:

• Webs sin anuncios: búsqueda, agentes y entrenamiento, permitidos.
• Webs con anuncios: búsqueda permitida; entrenamiento con Disallow AI Training; agentes bloqueados en las páginas que muestran anuncios.

Para los clientes existentes, la configuración se migra de forma automática: quienes tenían bloqueado el entrenamiento, en todas las páginas o solo en las que llevan anuncios, pasan a Disallow AI Training. Cloudflare sostiene que la mayoría no tiene que hacer nada. Además, retira el antiguo interruptor de bloqueo de bots de IA y el robots.txt gestionado, sustituido por Bot Preference Sync.

El matiz que importa al SEO

Hay un cambio que conviene leer dos veces. Desde esta fecha, las opciones Block y Block on pages with ads se aplican también a los rastreadores de uso mixto. Dicho de otro modo: quien elija bloquear por completo el entrenamiento estará bloqueando también a Googlebot o Bingbot, y por tanto afectando a su visibilidad en búsqueda. La propia Cloudflare indica que, para frenar el entrenamiento y mantener la búsqueda, la opción adecuada es Disallow AI Training.

El segundo matiz afecta a la visibilidad en asistentes. Los agentes que visitan una página cuando un usuario pregunta algo, como los fetchers de los chatbots, entran en la categoría Agent. En un dominio nuevo con publicidad quedarán bloqueados por defecto en las páginas con anuncios. Anthropic, por ejemplo, advierte en su documentación de que bloquear Claude-User impide recuperar el contenido en respuesta a la consulta de un usuario y puede reducir la visibilidad del sitio.

Qué revisar esta semana

1. Entra en el panel de Cloudflare y comprueba cómo han quedado los tres controles tras la migración.
2. Si tenías marcado Block en entrenamiento y quieres seguir en buscadores, cambia a Disallow AI Training.
3. Decide de forma consciente qué hacer con los agentes en las páginas con anuncios: bloquearlos protege el inventario publicitario, pero puede restar presencia en respuestas de asistentes.
4. Revisa el robots.txt resultante y tus registros del servidor para confirmar qué bots siguen entrando.

Los datos que acompañan al anuncio muestran hasta qué punto la búsqueda sigue siendo intocable: menos del 1% de las webs de Cloudflare bloquea los bots de búsqueda, mientras que un 17% activa algún mecanismo contra el entrenamiento. La nueva opción busca que ese 17% no tenga que elegir entre proteger su contenido y seguir siendo encontrado.