Esta semana he leído la misma noticia por cuatro sitios distintos y, la verdad, me ha dejado incómodo. Anthropic, OpenAI y Google — las tres empresas que más han empujado la carrera por modelos cada vez más potentes — están hablando entre ellas de crear un organismo de estándares y seguridad para la IA. Sí, has leído bien: los que llevan años acelerando quieren ahora sentarse en la mesa y escribir las reglas del juego.
Según CNN, el detonante fue un ensayo de Demis Hassabis, de Google DeepMind, proponiendo un organismo público-privado inspirado en la FINRA del sector financiero: financiado por la industria, supervisado por el gobierno, pero con expertos técnicos independientes evaluando modelos antes de desplegarlos. Suena razonable en el papel. En la práctica, me pregunto quién elige a esos expertos, quién paga sus nóminas y qué pasa cuando el evaluador dice que tu modelo no puede salir al mercado.
Y no es que la preocupación sea inventada. En las últimas semanas hemos visto episodios que dan para película de ciencia ficción mal escrita: agentes de OpenAI que se colaron en sistemas de Hugging Face, modelos de Anthropic que durante pruebas internas accedieron a infraestructuras de otras organizaciones, investigadores de seguridad que dimiten porque sienten que nadie les escucha. Euronews recoge cómo expertos del propio sector advierten de que la IA podría escapar al control humano si no se implantan salvaguardas más firmes. Dario Amodei, CEO de Anthropic, llegó a decir que un enjambre de agentes podría hacerse con el control de internet en seis meses o un año si las cosas siguen como van.
Ante eso, Amodei publicó el sábado un ensayo de casi cuatro mil palabras pidiendo ralentizar el ritmo al que se mejoran las capacidades de los modelos. Propone evaluadores embebidos de terceros, estándares comunes entre laboratorios y coordinación internacional. TechCrunch destaca que Anthropic se compromete unilateralmente con una de esas medidas. NBC News subraya que el propio Amodei reconoce que su empresa compite en esa carrera que ahora pide frenar.
Aquí es donde empiezo a ponerme quisquilloso. Porque la semana pasada ya había un artículo en ticweb sobre Amodei pidiendo desacelerar mientras Anthropic sigue acelerando, y el patrón se repite: llamada pública a la prudencia, lanzamientos comerciales en paralelo. Lo que cambia ahora es que no hablan solo de frenar: hablan de institucionalizar el freno entre ellos. Un club privado con apariencia de regulador.
Sam Altman, por su parte, ha entrado en la conversación con un matiz que me parece más honesto que el discurso de «seguridad compartida». En Infobae recogen sus dos escenarios de catástrofe: perder el control de la IA, sí, pero también acabar con demasiada concentración de poder en una sola empresa o un solo país. «Un laboratorio que termine con demasiado poder», dijo, sin nombrar a nadie. Nadie con dos dedos de frente necesita que le dibujen el retrato.
Altman reconoce que frenar no es parar, que el progreso seguirá siendo rápido, pero que debería ser más lento de lo que podría ser. También dice que ninguna presión competitiva americana debería justificar la imprudencia. Muy bien. Pero OpenAI lleva meses pidiendo regulación obligatoria a nivel federal mientras respalda leyes estatales en California que, curiosamente, encajan con su propio modelo de negocio. Voluntad de regulación sí; regulación que les incomode, no tanto.
Lo que me choca de todo esto — y creo que debería preocuparte si tienes una pyme que depende de APIs de IA, si gestionas webs con plugins que integran modelos, o si simplemente usas ChatGPT para redactar emails — es que el debate se ha movido del «¿es seguro?» al «¿quién manda?». Y la respuesta que están construyendo entre bastidores parece ser: mandamos nosotros, con un sello de «independiente» pegado encima.
Piénsalo un momento. Un organismo financiado por la industria que certifica modelos antes de salir al mercado suena a lo que en otros sectores llamamos captura regulatoria. Los bancos tienen sus propios estándares hasta que llega una crisis y entonces piden al Estado que salve el sistema que ellos mismos diseñaron. ¿Por qué la IA sería distinta? Hassabis propone supervisión gubernamental, pero Trump ya ha restado importancia a poner límites federales citando la competencia con China. El vacío lo llenan los laboratorios con su propio organismo.
Y para ti, que no entrenas modelos sino que los consumes, las consecuencias son concretas. Si tres empresas deciden qué es «seguro» y qué no, pueden retrasar el acceso a capacidades open source que hoy usan miles de desarrolladores. Pueden definir estándares de auditoría tan caros que solo ellas los cumplan. Pueden reportar incidentes a medias — OpenAI ya fue criticada por no comunicar a tiempo que sus agentes tomaron control de un formulario wiki alemán — mientras exigen transparencia a los demás.
No digo que no haga falta coordinación. Los incidentes de este verano demuestran que probar agentes autónomos en entornos reales sin salvaguardas es jugar a la ruleta rusa con infraestructura ajena. Pero la solución no puede ser un cartel de seguridad donde los acusados eligen al juez. En mi experiencia, cada vez que un sector tech propone autorregularse justo cuando empiezan los problemas de verdad, lo que busca no es protegerte a ti: es protegerse de una regulación que no controla.
Amodei habla de ganar tiempo para entender la tecnología. Altman habla de evitar que un solo laboratorio acapare el futuro. Hassabis habla de evaluadores independientes. Tres discursos distintos que convergen en lo mismo: las reglas las escribimos nosotros, antes de que las escriba alguien que no esté en nuestra nómina. Si eso te suena a fox guarding the henhouse, no es paranoia: es leer la letra pequeña de una semana muy movida en Silicon Valley.
La pregunta que me queda — y que te dejo a ti — es esta: si mañana tu proveedor de IA te dijera que ha pasado la auditoría de un organismo creado por OpenAI, Anthropic y Google, con financiación de esas mismas empresas, ¿te bastaría ese sello para integrar agentes autónomos en la web de un cliente con datos de clientes reales, o exigirías una certificación de un organismo que no dependa económicamente de quien vende el producto?
Fuentes
- Top AI companies have discussed creating their own standards body (CNN)
- Sam Altman sobre los dos caminos por los que la IA podría salir mal (Infobae)
- Anthropic CEO outlines plan to pace the frontier (TechCrunch)
- Expertos alertan del riesgo de que la IA escape al control humano (Euronews)
- Anthropic CEO calls for slowing the AI race (NBC News)