¿Qué cambia respecto a lo que llevamos años escuchando? Que el informe ya no habla de modelos que predicen la siguiente palabra. Habla de agentes con autonomía operativa: sistemas que coordinan tareas, interactúan con entornos reales y virtuales, usan herramientas y se integran en procesos económicos. Si sigues el sector, sabes que esto no es teoría de laboratorio. Hoy mismo Anthropic ha lanzado Sonnet 5 orientado precisamente a agentes autónomos, con acceso a navegadores y terminales, y lo pone como modelo por defecto incluso en la versión gratuita de Claude. El mismo día en que la ONU advierte del riesgo, el mercado acelera el pedal.
Lo que más me ha llamado la atención del informe —y de la cobertura internacional que lo acompaña— es el concepto de evidencia insuficiente para regular. Los responsables políticos necesitan pruebas sólidas para legislar, pero esas pruebas van por detrás del producto. Peor aún: algunos modelos ya aprenden a optimizar su rendimiento en los propios benchmarks de evaluación, lo que hace que las pruebas pierdan fiabilidad. Traducido al lenguaje de quien monta webs y servicios online: estás desplegando herramientas que nadie —ni sus creadores, ni tu proveedor, ni Bruselas— sabe evaluar del todo bien. Y lo haces porque el competidor lo hizo ayer.
El informe también señala algo incómodo para el ecosistema tech: hay más de 40 marcos de gobernanza y guías éticas repartidos por el mundo, pero están fragmentados, son inconsistentes y casi nadie comprueba si funcionan. Muchas evaluaciones de seguridad las hacen las propias empresas que venden el modelo. ¿Te suena? Es el equivalente digital a que el fabricante del plugin de WordPress haga la auditoría de seguridad de su propio código y tú te fíes porque tiene estrellitas en el repositorio.
En ciberseguridad el panel es explícito: capacidades crecientes para identificar vulnerabilidades, generar exploits y actuar de forma ofensiva. Esto conecta directamente con lo que ha pasado estas semanas con Fable 5 de Anthropic, retirado y restaurado por orden del Departamento de Comercio de EE.UU. tras un jailbreak que permitía eludir salvaguardas. La ONU no nombra productos concretos, pero el mercado te da ejemplos en tiempo real. Si Washington y una de las empresas más serias del sector no pudieron anticipar el problema, ¿qué posibilidades tiene tu agencia de marketing de «implementar IA» con un par de prompts y un presupuesto de 800 euros?
La pregunta que me hago —y que deberías hacerte tú si tienes responsabilidad sobre sistemas digitales— es qué significa todo esto para negocios que no son OpenAI ni tienen equipo de compliance. Porque el informe reconoce beneficios enormes: productividad, acceso a conocimiento, automatización de tareas repetitivas. Pero advierte de daños a la salud mental de usuarios, impactos socioeconómicos, dependencia de tecnologías que la mayoría de países no puede evaluar ni gobernar. La mayoría de economías avanzadas, dice el panel, carece de expertise técnico para valorar los modelos más capaces. Si Alemania o España tienen problemas, imagina una pyme de hostelería en Valencia que conecta su CRM a un agente de IA porque un consultor le prometió «automatizar el 70% del soporte».
En Ginebra, dentro de cinco días, empezará el primer Diálogo Global sobre Gobernanza de la IA. Habrá declaraciones, compromisos, fotos. Yo creo que lo relevante para ti no estará en el titular de prensa, sino en la grieta que el informe deja al descubierto: la ventana para gobernar la tecnología sigue abierta, pero se cierra. Mientras tanto, The Next Web resume que la complejidad de tareas que estos sistemas completan se duplica cada pocos meses, y que los agentes ya entran en finanzas y comercio con capacidad de tomar decisiones reales, a veces con dinero real. No estamos en la fase del chatbot que responde preguntas frecuentes. Estamos en la fase del sistema que ejecuta acciones encadenadas sin que nadie revise cada paso.
¿Qué haría yo con esta información si gestionara una pyme con presencia online? Tres cosas, sin dramatismo pero sin ingenuidad. Primero, dejar de confundir «tener IA» con «poner ChatGPT en la web». Si vas a delegar acciones —no respuestas, acciones— necesitas trazabilidad, límites de permisos y un humano en el circuito para decisiones irreversibles. Segundo, desconfiar de cualquier proveedor que te venda agentes autónomos sin explicarte cómo se evalúan, qué datos tocan y quién responde legalmente si el agente se equivoca. Tercero, seguir el proceso de Ginebra no por patriotismo institucional, sino porque lo que salga de ahí acabará filtrándose en requisitos de proveedores, cláusulas contractuales y, tarde o temprano, en auditorías de clientes corporativos.
Me fastidia un poco el tono apocalíptico con el que algunos medios han titular hoy —»riesgos catastróficos» vende mejor que «riesgos operativos concretos»—, pero el núcleo del informe es serio y está bien documentado. La ciencia no puede garantizar que no habrá daños graves. Los gobiernos van tarde. Las empresas aceleran. Y en el centro, cada vez más negocios normales conectando sistemas cada vez más autónomos a datos cada vez más sensibles, convencidos de que van tarde si no lo hacen ya.
El mismo día de la ONU, Anthropic pone Sonnet 5 en manos de todo el mundo para que sus agentes naveguen y ejecuten comandos. El mismo mes, EE.UU. levanta restricciones a modelos capaces de encontrar vulnerabilidades. El mismo año, OpenAI y Anthropic preparan salidas a bolsa. La película no es «la IA va a dominar el mundo»; es «la IA ya hace cosas que tu política de seguridad no contempla, y los que deberían poner reglas claras aún están redactando el borrador». Si tu proveedor te propone un agente autónomo con acceso a tu panel de administración y a tu pasarela de pagos antes de que sepamos qué acuerda Ginebra con los laboratorios, ¿le das permisos completos o le pones límites aunque pierdas velocidad?
Fuentes
- Press Conference: Launch of the preliminary report by the Independent International Scientific Panel on Artificial Intelligence | UN Web TV
- Unchecked AI progress may pose catastrophic risks, UN panel warns – CNA
- UN’s first global AI science panel warns the window to govern the technology is closing – The Next Web
- Anthropic lanza Sonnet 5 – Infobae