La semana en que la industria de la IA empezó a ponerse frenos y a discutir quién los aprieta
Google, OpenAI y Anthropic avanzan en un organismo propio de control, Nvidia propone limitar a los agentes desde el hardware y la política se mete, entre una cena en la Casa Blanca y una invitación de senadores australianos a la que no irá ningún CEO.
Google, OpenAI y Anthropic avanzan en un organismo propio de control, Nvidia propone limitar a los agentes desde el hardware y la política se mete, entre una cena en la Casa Blanca y una invitación de senadores australianos a la que no irá ningún CEO.
En pocos días aparecieron tres movimientos que pueden leerse como respuestas a una misma inquietud: la seguridad de los sistemas de inteligencia artificial más avanzados, y en particular de agentes que hicieron cosas que nadie les había pedido. Según trascendidos periodísticos publicados este lunes 28 de septiembre, Google, OpenAI y Anthropic avanzan en un organismo privado para vigilar sus propios modelos. Nvidia presentó una plataforma para ponerles límites a los agentes desde el hardware. Y la política entró por dos puertas: Donald Trump cenó el domingo 27 en la Casa Blanca con Dario Amodei, CEO de Anthropic, mientras en Australia los senadores que habían invitado a Amodei y a Sam Altman a declarar ante una comisión supieron que ninguno de los dos va a ir.
La foto que deja la semana es la de un sector que empezó a ponerse frenos. Lo que asoma detrás es una discusión más incómoda: quién los aprieta.
Qué es un agente y por qué cambia el riesgo
Un chatbot responde. Un agente de IA, en cambio, actúa: navega sitios, ejecuta programas, completa formularios, manda correos o compra en nombre de quien lo usa. Es lo que promete, por ejemplo, Meta Muse, el agente que envía mails, reserva viajes y hace compras por el usuario.
La diferencia no es menor. Cuando un modelo se equivoca en una respuesta, el resultado es un texto errado que alguien puede leer y descartar. Cuando un agente se equivoca, o interpreta una orden de una forma que nadie previó, el resultado es una acción, y esa acción ya ocurrió fuera de la pantalla.
Eso es lo que venía pasando. En MonoLito contamos que OpenAI frenó por segunda vez en tres meses el entrenamiento de sus modelos más potentes después de una seguidilla de incidentes con agentes: una fuga del entorno aislado de pruebas el 20 de septiembre, accesos a sitios del gobierno de Estados Unidos y al portal de Medicare en Australia. La primera pausa había llegado en julio, tras el episodio en el que agentes de OpenAI desplegaron más de 17.000 acciones contra la plataforma Hugging Face.
Autorregulación: ¿control o juez y parte?
La primera respuesta viene de las propias empresas. De acuerdo con trascendidos periodísticos, Google, OpenAI y Anthropic trabajan en la creación de la Standards Authority for Frontier AI (SAFA), un organismo privado para supervisar la seguridad de sus modelos más avanzados. Su lanzamiento está previsto para fines de 2026 o principios de 2027.
Según esos trascendidos, la SAFA respaldaría pruebas de seguridad hechas por terceros antes de cada lanzamiento, fijaría reglas para reportar incidentes y definiría estándares para certificar auditores externos. La idea tiene un origen preciso: un ensayo que Demis Hassabis, cofundador de Google DeepMind y científico jefe de Alphabet, publicó el 14 de julio, en el que proponía un esquema inspirado en la FINRA, el regulador de Wall Street.
El plan original era otro. Las compañías buscaban una asociación público-privada con supervisión federal, pero ese camino se frenó cuando quedó en pausa un borrador de orden ejecutiva de la Casa Blanca. El gobierno de Trump les pidió que primero alcanzaran «un consenso dentro de la propia industria».
Entre los nombres que circulan para dirigir el organismo figuran Sriram Krishnan, exasesor de IA de la Casa Blanca, y Arati Prabhakar, exdirectora de la Oficina de Política Científica y Tecnológica de la Casa Blanca. Para presidir el directorio se menciona a Condoleezza Rice, ex secretaria de Estado, y al empresario e inversor David Friedberg.
El problema salta a la vista: quien fija las reglas y quien se somete a ellas sería el mismo, y así la independencia del control es difícil de garantizar. Lo que asoma es un árbitro elegido por los equipos que juegan el partido.
El freno, en el chip
La segunda respuesta corre el control a otro lugar. Nvidia presentó la Open Agent Safety Platform, con decenas de socios, en un contexto de incidentes en los que, según trascendidos periodísticos, modelos de OpenAI, Anthropic, Meta y Google lograron salir de los entornos cerrados en los que se los prueba.
La plataforma tiene dos piezas. Nvidia OpenShell corre en los procesadores centrales y marca límites sobre a qué pueden acceder los agentes y qué pueden hacer. Sentry funciona en los chips de red y monitorea su comportamiento en tiempo real.
«Los resguardos a nivel del modelo por sí solos no alcanzan para controlar a qué pueden acceder o qué pueden ejecutar», sostuvo Justin Boitano, vicepresidente de IA empresarial de Nvidia.
Alrededor de la propuesta se armó la Open Secure AI Alliance, con más de 100 empresas, entre ellas Microsoft, Amazon, IBM, Cisco, Red Hat, Databricks, Salesforce y la Fundación Linux. Nvidia sostiene además que los sistemas abiertos no son, de por sí, menos seguros que los cerrados.
La lectura de fondo es que el freno deja de depender solo de que el modelo «se porte bien» y pasa a la infraestructura. La pregunta se traslada, pero no desaparece: quien diseña esa capa es quien define dónde está el límite.
La política entra en escena
La tercera respuesta es la más difusa. El domingo 27 por la noche, Amodei cenó a solas con Trump en la Casa Blanca: fue su primera reunión privada. Llegó después de meses de choques: una disputa por un contrato con el Pentágono a principios de año y los controles de exportación que el Departamento de Comercio aplicó por un breve período en junio a Mythos, el modelo de Anthropic. Días antes de la cena, una corte federal confirmó que el Pentágono había clasificado a la empresa como «riesgo de cadena de suministro».
Amodei tampoco había estado en la cena de Estado que Trump ofreció el jueves 24 al presidente chino Xi Jinping, a la que sí fueron Altman (OpenAI), Elon Musk (xAI), Mark Zuckerberg (Meta) y Jensen Huang (Nvidia).
El CEO de Anthropic viene pidiendo que la industria desacelere y trabaje con el gobierno en protocolos de regulación, un pedido al que a mediados de mes se sumaron Musk y Altman. En una entrevista, Trump reconoció la preocupación, pero dijo que su prioridad es mantener la ventaja sobre China. «Estamos más o menos un año y medio adelante de China. Vamos a la cabeza y estamos construyendo lugares tremendos, por valor de billones de dólares. ¿Y por qué deberíamos renunciar a eso?», afirmó en esa conversación, en la que describió a Amodei como alguien que intenta ser «un angelito perfecto» tras su pedido de pausar el desarrollo.
En Australia, el tono fue otro. Senadores del Partido Verde, entre ellos Sarah Hanson-Young, invitaron a Altman y a Amodei a declarar ante una comisión del Senado sobre inteligencia artificial, después de que se confirmara que agentes vinculados a OpenAI habían entrado a sitios del gobierno, incluido el portal de Medicare. El hecho ocurrió en junio y se conoció en septiembre. «Hay preguntas serias que Sam Altman tiene que responder sobre el hackeo de OpenAI a sitios web del gobierno australiano», señaló un portavoz de la senadora.
La respuesta llegó este lunes: ninguno de los dos irá. OpenAI enviará a su director de estrategia, Jason Kwon, a la audiencia del 6 de octubre en Sídney, y Anthropic mandará ejecutivos de Estados Unidos y de Australia.
Quién controla a quien controla
Puestas una al lado de la otra, las tres respuestas dibujan un mapa con un hueco en el medio. Las empresas proponen vigilarse a sí mismas. Un fabricante de chips propone que el límite viva en su infraestructura. Y la política aparece partida: en Washington, la prioridad declarada es mantener la ventaja sobre China; en Australia, senadores que quieren respuestas reciben a enviados y no a los CEO.
Pruebas externas, reporte de incidentes y límites en el hardware son herramientas concretas. Pero la pregunta de fondo sigue abierta, y es la más vieja de cualquier sistema de control: quién controla a quien controla. Por ahora, la semana deja más frenos que manos dispuestas a apretarlos desde afuera.