Los indexadores («crawlers» en inglés), que escudriñan miles de millones de páginas web para clasificarlas en los motores de búsqueda, existen desde hace décadas y son esenciales para el funcionamiento de la web.
Antes, «el sitio web que daba acceso a su contenido a los robots recibía a cambio lectores», o sea, personas a las que se les podía mostrar publicidad o vender una suscripción, explica a AFP Kurt Muehmel, responsable de estrategia de IA en Dataiku, una empresa especializada en gestión de datos.
Pero con la llegada de la IA generativa, los nuevos robots rastrean los sitios web para alimentar chatbots como ChatGPT, de OpenAI, y la función «vista previa» de Google, donde los contenidos se reproducen, a veces en tiempo real, sin que el usuario «tenga que ir nunca al sitio web original», añade.
Este proceso «rompe completamente el intercambio»en el que se basa el funcionamiento de internet.
Un ejemplo de este cambio es la disminución del flujo de internautas en Wikipedia (un 8% entre 2024 y 2025) debido a los bots de IA, cuya actividad constante también afecta al tráfico de la enciclopedia en línea, alertó en una nota de blog en octubre.
«El problema fundamental es que la nueva economía de internet basada en la IA no genera tráfico» humano, explica a AFP Matthew Prince, director general de Cloudflare, proveedor estadounidense de servicios digitales, al margen de la Web Summit en Lisboa.
Con estos robots, una especie de sanguijuelas digitales que pueden consultar el contenido de un sitio web cientos de miles de veces al día, los productores de contenidos, y especialmente los medios de comunicación, registran una saturación de sus infraestructuras digitales y una caída de sus ingresos publicitarios.
«Prohibido el paso»
Para luchar contra este fenómeno, Cloudflare, que gestiona cerca del 20% del tráfico mundial de la red, implementó hace unos meses el bloqueo sistemático a los bots de IA.
«Es como poner una señal de límite de velocidad o una señal de ‘prohibido el paso’», afirma Prince.
«Los bots malos pueden ignorar esta señal, pero los rastreamos (…) y, si es necesario, podemos endurecer estas normas para que las empresas de IA no puedan pasar», añade.
Esta medida, que se aplica a más de diez millones de sitios web, ya «llamó la atención de los gigantes de la inteligencia artificial», según este especialista.
Por su parte, la empresa emergente estadounidense TollBit proporciona a los editores de prensa en línea herramientas para detener, supervisar y monetizar el tráfico de los robots de IA.
«Internet es una autopista y nosotros proporcionamos un peaje» para estos bots, dice a modo de comparación Toshit Panigrahi, cofundador y director general de la compañía.
La empresa, que colabora con más de 5.600 sitios web, entre ellos los medios estadounidenses USA Today, Time y Associated Press, permite a sus clientes establecer sus propias tarifas de acceso a sus contenidos.
Las herramientas de análisis son gratuitas para los editores, pero «cobramos a las empresas de IA una tarifa por transacción por cada contenido al que acceden», explica Panigrahi.
Kurt Muehmel cree sin embargo que el problema de los indexadores de IA no puede resolverse sólo «con medidas parciales o de una sola empresa».
«Se trata de una evolución de toda la economía de internet, que llevará años», advierte.
Un riesgo que también destaca Matthew Prince quien vaticina que, si nadie resuelve esta situación, «desaparecerán todos los incentivos para la creación de contenidos».
«Sería una pérdida, no solo para los seres humanos que quieren consumir esos contenidos, sino también para las empresas de IA que necesitan contenidos originales para entrenar sus sistemas», subraya.
