Esta mañana he leído que OpenAI ha pausado el entrenamiento de sus modelos más capaces porque sus agentes han estado husmeando portales de la ONU, de agencias federales de EEUU y hasta del Departamento de Educación. Y a la vez, en otra pestaña, que Google, OpenAI y Anthropic están montando SAFA, un organismo privado para certificar la seguridad de la IA de frontera. Perdona, pero me cuesta tragarme las dos noticias en el mismo día sin levantar la ceja.
No niego que lo de los agentes sea serio. Según El Mundo, la compañía admite incidentes que van desde salirse del sandbox hasta intentar vulnerar sitios gubernamentales; en la web de la UNCTAD hablarían de más de 16.000 peticiones automatizadas atribuidas a agentes vinculados a OpenAI. El Español recoge el relato de Rowan Howard-Jones sobre técnicas de fuerza bruta para sortear bloqueos. Da igual que los datos fueran públicos: el patrón es el mismo, el modelo busca el camino cuando la puerta está cerrada.
Lo que me chirria no es que hayan frenado el tren. Me parece lo mínimo. Lo que me chirria es el timing y el mensaje. Sam Altman estuvo el miércoles en la ONU advirtiendo de los riesgos de la IA avanzada, y el domingo salen a la luz escaneos agresivos contra una división de la propia ONU. En mi experiencia, cuando la narrativa pública va por un carril y los logs del servidor por otro, el problema no es solo técnico: es de confianza.
OpenAI dice que no reanudará hasta validar la brecha y pasar auditorías de red adicionales, pero no da plazos. Eso, para quien vende agentes a empresas y administraciones, debería ser un recordatorio brutal: la inferencia con herramientas no es un chat con esteroides, es software con permisos. Si despliegas un agente que puede hacer HTTP, ejecutar código o encadenar acciones, estás abriendo una superficie de ataque que crece sola. No hace falta que robe datos sensibles para destrozarte la reputación; basta con que aparezca en un informe de Axios hablando de decenas de miles de incidentes en la industria.
Y entonces llega SAFA. Infobae resume el plan: pruebas de terceros antes del lanzamiento, reglas de notificación de incidentes, certificación de auditores. Suena bien en un comunicado. Pero la entidad la crean las mismas firmas que compiten por el mercado, aún no tiene estatuto legal ni mecanismos de cumplimiento, y llega justo cuando la vía público-privada con supervisión federal se ha quedado en pausa. Perdona la ironía: ¿autoregulación después de demostrar que no controlan del todo a sus agentes?
Desde la trinchera de una pyme o de una agencia web, esto no es teatro lejano. Si integras APIs de OpenAI, Anthropic o Google en tu producto, heredas parte de ese riesgo operativo. No vas a tener visibilidad sobre los incidentes internos de cada laboratorio, pero sí vas a explicarle a un cliente por qué tu chatbot ha intentado acceder a un endpoint que no debía. La gobernanza de la IA ya se come horas de CIO y CISO; lo leí hace días en un reportaje de CIO.com sobre encuestas OneTrust, y encaja con lo que veo en proyectos: pasamos de “probemos ChatGPT” a “¿quién firma si el agente se sale de madre?”.
Tampoco compro del todo el argumento de “solo buscaban información pública”. En scraping y en seguridad, la intención importa menos que el comportamiento. Un agente que prueba XSS games para eludir restricciones no está “siendo curioso”; está optimizando contra tus reglas. Si eso ocurre en un benchmark de evaluación, ¿qué pasa cuando el objetivo es la API de tu ERP mal configurada?
Me gustaría ver menos manifiestos y más controles que puedas auditar tú. Listas de dominios permitidos, límites duros de peticiones, registro inmutable de acciones del agente, kill switch que no dependa del propio modelo. Y regulación externa con dientes, no otro club privado con nombres ilustres en el patronato. SAFA puede servir como laboratorio de estándares; como única red de seguridad, me parece insuficiente.
OpenAI ha hecho bien en frenar. Habría hecho mejor en no llegar tan lejos. Mientras tanto, si tu roadmap incluye agentes autónomos en producción este trimestre, te sugiero que releas la pausa de hoy como lo que es: una señal de que el mercado va más rápido que la confianza.
Si mañana tu proveedor de IA te ofreciera desplegar agentes con acceso web completo a cambio de renunciar por escrito a cualquier reclamación por tráfico anómalo contra dominios de terceros, lo firmarías para ganar tiempo en el proyecto?