Cloudflare lanza “Pay Per Crawl”: ¿un salvavidas para la monetización de los medios?

Esta semana me encontré con una noticia que, sinceramente, creo que puede cambiar muchas cosas para quienes trabajamos creando contenido en la web: Cloudflare anunció el lanzamiento en beta de Pay Per Crawl, una funcionalidad que permite a los dueños de sitios web cobrar a los bots de IA por cada solicitud de rastreo.

Hasta ahora, la lógica era binaria: o dejabas entrar a los crawlers de IA de forma gratuita, con el riesgo de que tu contenido se use para entrenar modelos sin ningún tipo de compensación; o los bloqueabas por completo, renunciando de paso a posibles beneficios de visibilidad o indexación. Con este nuevo modelo, Cloudflare propone una tercera vía: permitir que cada publisher ponga precio a su contenido y reciba un pago cada vez que un crawler de IA lo consume.

Cómo funciona Pay Per Crawl

En términos simples, los rastreadores verificados podrán elegir si pagan por acceder a un sitio o se enfrentan a un código HTTP 402 Payment Required. Los pagos se gestionan a través de Cloudflare, que actúa como intermediario entre los crawlers y los dueños del contenido. Los publishers pueden definir cuánto quieren cobrar por cada solicitud y decidir caso a caso a quiénes permiten entrar y a quiénes no.

Para quienes creamos contenido, esta idea suena casi revolucionaria: cobrar por el acceso automatizado que, de todos modos, ocurre a gran escala y muchas veces sin control ni retorno.

Lo que me hace pensar esta movida

Personalmente, creo que esta noticia abre preguntas muy profundas sobre el futuro de la web, la economía de los datos y la relación entre los medios y la inteligencia artificial.

Por un lado, si esta modalidad se generaliza, podría ser positiva para todos los editores, incluso los más pequeños, porque por fin habría un mecanismo para recibir compensación por la materia prima que alimenta a los grandes modelos de lenguaje.

Pero por otro lado, hay un gran riesgo de efecto concentrador: si los crawlers de IA tienen que pagar a todos, probablemente prioricen rastrear solo a los sitios más grandes y consolidados, reforzando la brecha entre los grandes medios y los pequeños, que viven precisamente de ocupar nichos y producir contenido especializado.

Y acá entra en juego algo que resume muy bien Rand Fishkin con su famoso Prisoner’s Dilemma:

• Si algunos sitios deciden no cobrar, los crawlers pueden simplemente quedarse con esos datos gratuitos.

• Si todos cobran, el beneficio se reparte.

• Pero como cada sitio piensa de forma individual, siempre habrá incentivos para abrirse gratis y atraer más tráfico de bots, aunque eso perjudique a la industria editorial en su conjunto.

En otras palabras: sin coordinación ni acuerdos, este sistema puede convertirse en una herramienta que solo unos pocos aprovechen.

¿Hacia dónde podría ir esto?

Lo que más me interesa es imaginar qué pasará después. ¿Veremos asociaciones de medios negociando tarifas colectivas con las grandes tecnológicas? ¿Habrá crawlers “piratas” que intenten esquivar estos pagos? ¿Podrán los pequeños sitios demostrar el valor diferencial de su contenido para que valga la pena pagarles?

Creo que esta es apenas la punta del iceberg. Poner precio al rastreo es el primer paso para repensar la relación entre creadores de contenido y sistemas de IA, pero todavía queda mucho por definir: licencias, auditorías, precios dinámicos y, por supuesto, marcos regulatorios que impidan abusos o la concentración excesiva de la información.

Mi conclusión

Como creador de contenido (y como alguien que se gana la vida con SEO), me parece positivo que por fin haya alternativas a regalar o bloquear el acceso. La web abierta necesita modelos sostenibles, y tal vez esta idea de “pagar por rastrear” sea uno de los caminos para encontrar un equilibrio más justo.

Ahora bien, para que funcione de verdad, se necesitará algo más que tecnología: hará falta voluntad colectiva, reglas claras y transparencia, porque si no, corremos el riesgo de repetir los mismos patrones de concentración que ya hemos visto en otros ámbitos de la economía digital.

¿Tú qué opinas?
¿Crees que este modelo puede beneficiar a los creadores más pequeños o será una oportunidad que solo capitalizarán los grandes medios?