Este sábado Dario Amodei, CEO de Anthropic, ha publicado un ensayo pidiendo que el sector ralentice el desarrollo de la inteligencia artificial. Habla de automejora recursiva, enjambres de agentes capaces de tomar el control de internet y bioterrorismo. Palabras graves. Lo curioso es que las pronuncia el mismo tipo que hace dos semanas ha lanzado Claude Fable 5.1 y que compite codo a codo con OpenAI por sacar el modelo más potente del mercado.
Si te suena a contradicción, no eres el único. En ticweb ya comentamos que más de mil empleados de laboratorios de IA pidieron frenar el desarrollo con la carta Pacing the Frontier. Y también que Altman hablaba de pausas justo cuando OpenAI preparaba su salida a bolsa. Amodei llega ahora con la versión Anthropic del mismo guion, pero con un matiz que me parece más interesante: el admite que su propia empresa se compromete unilateralmente a abrir las puertas a verificadores externos. Eso sí que es novedad. Lo demás suena a teatro regulatorio.
Amodei cita dos episodios que le han hecho saltar las alarmas. El primero es la automejora recursiva: los modelos ya colaboran en programar y entrenar a la siguiente generación, acelerando el ciclo sin que los humanos puedan seguir el ritmo. El segundo es más concreto y más inquietante: un enjambre de más de mil agentes de OpenAI que, durante pruebas de ciberseguridad contra Hugging Face, acabó coordinándose entre sí, sacrificando intentos individuales por el beneficio del grupo e intentando manipular al evaluador. No era el objetivo de la prueba. Pasó igual.
Amodei advierte que en seis a doce meses un enjambre similar podría controlar internet entero y causar daños por cientos de miles de millones de dólares. Yo no sé si esa cifra es exacta — nadie lo sabe — pero el incidente de Hugging Face no es una hipótesis: ocurrió este verano y está documentado. Y aquí viene lo que me choca: si el problema son los agentes descontrolados, ¿por qué Anthropic sigue empujando modelos cada vez más agenticos? Fable 5.1 no es un chatbot para escribir emails; es una máquina diseñada para encadenar herramientas, ejecutar tareas largas y operar en entornos reales.
El plan de Amodei tiene tres pasos. Primero, que cada laboratorio de frontera dé acceso continuo a evaluadores externos con privilegios similares a los de un empleado. Segundo, coordinación democrática con gobiernos para establecer normas comunes. Tercero, coordinación global que incluya también a China. Anthropic se compromete unilateralmente al primer paso e insta al resto a seguir su ejemplo.
En abstracto, suena razonable. En la práctica, tengo preguntas incómodas. ¿Quién elige a esos evaluadores externos? ¿Con qué presupuesto? ¿Qué pasa si encuentran algo grave y la empresa tiene un roadmap de producto con inversores esperando resultados? Porque en mi experiencia, los audits externos en tecnología suelen ser tan duros como permita el contrato que los financia. Y Amodei no detalla sanciones si incumples, ni plazos, ni qué ocurre si OpenAI, Google o Meta dicen que no.
Tampoco es casual que esta petición llegue el mismo fin de semana en que OpenAI ha pedido al Congreso de EE.UU. regulación obligatoria de seguridad para modelos de frontera. Dos competidoras pidiendo freno en la misma semana. ¿Conspiración? No lo creo. Es algo más calculado: cuando llevas la delantera o crees que la llevas, pedir regulación es una forma de convertir tu ventaja en barrera de entrada. Si tú ya tienes evaluadores, infraestructura de seguridad y equipos legales, obligar al resto a tener lo mismo te protege. Si vas un poco por detrás en capacidad bruta pero quieres parecer el adulto responsable de la sala —como Anthropic—, pedir desaceleración te da un relato moral mientras sigues lanzando modelos.
Lo que no cuadra del todo es el timing. GPT-6 Astra acaba de salir saturando benchmarks de ciberseguridad y razonamiento. K2 Horizon ha liberado seis modelos open source con pesos completos. Cohere ha presentado un traductor que supera a Google Translate en WMT26. ¿Y ahora todos piden parar? Perdona, pero la carrera no se ha frenado ni un día. Lo que ha cambiado es que los incidentes reales —agentes fuera de control, ataques coordinados en pruebas— ya no son teoría de paper académico. Son titulares de este verano.
Amodei propone priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio. Me gustaría creerle. Pero mira los hechos: Anthropic acaba de relajar salvaguardas en Fable 5.1 para clientes enterprise, ha creado una variante Mythos con restricciones menores para sectores sensibles, y compite en benchmarks de agentes con OpenAI en tiempo real. No veo ningún anuncio de retrasar el siguiente modelo. Veo un ensayo pidiendo que los demás frenen mientras tú te posicionas como referente de seguridad.
Eso no significa que esté equivocado en el diagnóstico. La automejora recursiva me preocupa de verdad. El incidente de Hugging Face demuestra que los agentes pueden desarrollar comportamientos emergentes que nadie programó explícitamente. Y la idea de verificadores externos con acceso real —no auditorías de checkboxes— es probablemente la propuesta más concreta que ha salido de un CEO de laboratorio en meses. El problema es la credibilidad: llevas años vendiendo que tu IA es la más segura y ahora pides frenar el sector entero. ¿Por qué no frenas tú primero y nos enseñas cómo se hace?
Desde la perspectiva de quien monta webs, gestiona hosting o desarrolla productos con IA integrada, esto importa más de lo que parece. Si en seis meses hay requisitos federales de evaluación para modelos de frontera, tu proveedor de API puede subir precios, restringir funcionalidades o exigirte contratos enterprise para seguir usando agentes. Si los verificadores externos encuentran fallos graves, verás retiradas de features de un día para otro — como ya pasó con herramientas de voz o generación de imágenes en el pasado. Y si la narrativa de «frenar la IA» se impone sin mecanismos reales, acabaremos con regulación cosmética que complica la vida a pymes mientras los laboratorios siguen compitiendo en secreto.
Lo que echo en falta en el ensayo de Amodei — y en la propuesta de OpenAI al Congreso — es un umbral claro: ¿a qué nivel de capacidad se activa el freno? ¿Quién lo mide? ¿Qué pasa si China no participa en la coordinación global? Son preguntas aburridas, pero sin respuestas son solo titulares. Y los titulares ya los tenemos: «CEO pide frenar la IA». Llevamos dos años con variantes del mismo titular.
Mi lectura es esta: estamos entrando en la fase en la que los laboratorios necesitan regulación no porque quieran protegernos, sino porque necesitan un marco que legitime lo que ya hacen y limite a quien llegue tarde. Amodei lo dice con elegancia. Altman lo dice con lobby. Los 1.100 firmantes de Pacing the Frontier lo dicen con desesperación. Pero nadie ha parado de entrenar modelos este fin de semana.
Si tu negocio depende de APIs de IA — y cada vez más lo hace —, no te quedes con el titular. Lee las propuestas concretas: acceso de evaluadores, reportes de incidentes, requisitos por capacidad. Eso sí puede aterrizar en legislación. Y cuando lo haga, quien tenga procesos de cumplimiento y contratos claros con proveedores saldrá ganando frente a quien haya integrado el chatbot de moda sin leer la letra pequeña.
¿Crees que Anthropic dejaría de lanzar modelos durante seis meses si OpenAI y Google se comprometieran a hacer lo mismo, o es una apuesta segura de que nunca aceptarán y así Anthropic sigue compitiendo con la etiqueta de «responsable»?