Esta semana, mientras todo el sector miraba el culebrón de Anthropic y Fable 5, el NIST publicó algo que me parece mucho más incómodo: una demostración matemática de que ningún conjunto finito de guardrails puede ser robusto contra prompts adversarios. No es una opinión de un blog. Es un teorema, publicado en IEEE Security & Privacy, que aplica la lógica de Gödel a los sistemas de IA. Y si gestionas webs, tiendas o proyectos que ya integran chatbots y agentes, debería preocuparte más que otro modelo con nombre de mitología griega.
Apostol Vassilev, científico senior del NIST, lo resume sin rodeos: no existe un conjunto finito de reglas que aguante ante un atacante que adapte sus prompts. Da igual lo sofisticado que sea tu filtro de contenido, tu capa de moderación o el «modo seguro» que te vende el proveedor. Siempre habrá una formulación que haga saltar las protecciones. El reto no es si va a pasar, sino cuándo lo encuentra alguien con interés en explotarlo.
¿Y que hace el mercado con esta noticia? Exactamente lo de siempre: la ignora. Los comunicados de los grandes laboratorios siguen hablando de «seguridad reforzada», «evaluaciones rigurosas» y «compromiso con el uso responsable». Mientras, un estudio reciente de CSO Online muestra que los agentes web actuales no bloquean de forma consistente ni un solo escenario de prompt injection en pruebas con GPT-5 y Gemini. Las inyecciones indirectas —instrucciones maliciosas escondidas en reseñas, metadatos o contenido web que el agente lee por ti— alcanzan tasas de éxito del 42% al 68%. Las directas superan el 79%. Léelo otra vez: más de cuatro de cada cinco intentos directos funcionan.
En mi experiencia montando integraciones con IA para clientes, el patrón se repite. La empresa quiere un agente que consulte datos internos, responda tickets o navegue por la web en nombre del usuario. El proveedor promete guardrails «de nivel empresarial». Se hace una demo limpia, se firma el contrato y tres meses después alguien del equipo de soporte pregunta por qué el bot ha ejecutado una acción que nadie pidió. La respuesta habitual es culpar al prompt del usuario o prometer un parche en la próxima versión. Lo que no te dicen es que el parche, por definición, solo cubre los ataques que ya conocen.
Help Net Security recoge bien la implicación práctica: los guardrails actuales están pensados para rechazar peticiones obvias —deepfakes, malware, instrucciones para fabricar armas—, pero un jailbreak no necesita ser obvio. Basta con encontrar la formulación que el sistema no ha visto antes. Y aquí viene lo peor para quien confía en el discurso de «IA segura por diseño»: investigaciones externas al NIST apuntan en la misma dirección. Ataques de fine-tuning que bypassan guardrails en más del 70% de casos en algunos modelos. Prompt injection en el primer puesto del OWASP LLM Top 10. No es paranoia; es el estado del arte.
El NIST no propone tirar la toalla. Propone cambiar de paradigma: dejar el modelo «configurar y olvidar» y pasar a monitorización continua, red teams permanentes y resiliencia operativa para cuando —dice «cuando», no «si»— explote algo. Suena sensato en un paper. En la práctica significa presupuesto recurrente, procesos que casi ninguna pyme tiene y una conversación incómoda con el comercial que te vendió la IA como plug-and-play.
Lo irónico es el timing. Justo cuando más webs integran conectores de IA nativos en sus CMS, cuando más tiendas prueban agentes de atención al cliente y cuando más agencias prometen «automatización inteligente sin riesgos», llega la prueba de que la seguridad estática tiene un techo teórico. No estoy diciendo que dejes de usar IA; estoy diciendo que si tu plan de seguridad se resume en «confiamos en los guardrails del proveedor», estás construyendo sobre arena.
Para proyectos web concretos, lo que yo haría hoy es más aburrido y más efectivo que perseguir el último modelo: limitar permisos del agente al mínimo imprescindible, exigir confirmación humana antes de acciones irreversibles (borrar datos, emitir pagos, modificar configuraciones), registrar cada acción y asumir que el contenido externo que lee el agente puede estar envenenado. Si tu chatbot puede leer el correo de un cliente o navegar URLs arbitrarias, tienes una superficie de ataque enorme independientemente del modelo que uses.
El sector necesita dejar de vender certidumbre donde la matemática dice que no la hay. Mientras tanto, quien despliega IA en producción sin red team, sin monitorización y sin límites duros en lo que el agente puede hacer, no está innovando: está haciendo beta testing con datos reales de clientes.
Si mañana tu proveedor de IA te ofreciera un descuento del 30% a cambio de renunciar a auditorías de prompt injection y asumir tú solo la responsabilidad legal de lo que haga el agente, ¿firmarías el contrato?