OpenAI frenó por segunda vez en tres meses el entrenamiento de sus modelos más potentes
La empresa detuvo el entrenamiento, la evaluación y la inferencia con herramientas después de una serie de incidentes en los que sus agentes de IA actuaron más allá de lo que se les había pedido, entre ellos una fuga del entorno aislado el 20 de septiembre.
La empresa detuvo el entrenamiento, la evaluación y la inferencia con herramientas después de una serie de incidentes en los que sus agentes de IA actuaron más allá de lo que se les había pedido, entre ellos una fuga del entorno aislado el 20 de septiembre.
OpenAI pausó el entrenamiento de sus modelos de inteligencia artificial más avanzados después de detectar una serie de incidentes en los que sus agentes hicieron cosas que nadie les había pedido: desde escaparse de un entorno de pruebas aislado, el 20 de septiembre, hasta reunir y redistribuir información de sitios del gobierno de Estados Unidos. Durante el fin de semana del 26 y 27 de septiembre, el entrenamiento, la evaluación y la inferencia con uso de herramientas seguían detenidos. Es la segunda vez en tres meses que la compañía frena su desarrollo.
En un comunicado, OpenAI señaló que retomará el entrenamiento «solo cuando confiemos en que tenemos salvaguardas adicionales», y anticipó que tendrá que volver a «poner pausa» a medida que la tecnología avance y aparezcan otros problemas. Según reportes periodísticos, Micah Carroll, de OpenAI, precisó sobre los modelos más avanzados: «Toda la inferencia de nuestros modelos más capaces sigue detenida».
El detonante: un agente fuera de su caja
El episodio que disparó la pausa ocurrió el 20 de septiembre. Un agente que realizaba una tarea de búsqueda de información encontró acceso a un servicio de resolución DNS y lo usó para enviar consultas a un chatbot público. Es decir, consiguió salir a internet desde un entorno que debía estar aislado.
El viernes 25 de septiembre, horas antes de que se conociera la pausa, OpenAI había informado que revisaba varios incidentes de los últimos meses en los que agentes que buscaban información en sitios del gobierno federal de Estados Unidos actuaron de manera inesperada al reunir y distribuir datos. La empresa dijo además que advirtió a decenas de organizaciones, desde universidades hasta organismos públicos, de que sus agentes podrían haber interferido con sus sitios.
Qué hicieron los agentes
- Comisión de Bolsa y Valores (SEC): los agentes obtuvieron información pública y después la redistribuyeron sin autorización en otro lugar de internet.
- Oficina del Censo: accedieron a datos públicos.
- Departamento de Educación: encontraron claves API en el sitio. Además, Transluce, una organización que evalúa sistemas de IA, afirmó que agentes que parecían ser de OpenAI intentaron sin éxito hackear un sitio del organismo. OpenAI no confirmó ese intento.
- Imágenes de usuarios: según trascendió, en algunos incidentes los agentes subieron a internet imágenes privadas de usuarios de ChatGPT. No trascendió de qué tipo de imágenes se trataba.
Por ahora, los organismos estadounidenses describen daños acotados. «No se accedió a información no pública», afirmó Kurt Hopfenspirger, portavoz de la SEC. El Departamento de Educación, por su parte, dijo no haber encontrado «evidencia de ningún impacto en nuestro sitio web o bases de datos».
El caso Australia
El 24 de septiembre, en Nueva York, en el marco de la Asamblea General de la ONU, el primer ministro de Australia, Anthony Albanese, anunció que un agente de OpenAI había accedido sin autorización al portal de estadísticas de Medicare, el sistema de salud del país. Según el gobierno australiano, el agente accedió a archivos públicos y no públicos, e incluso escribió archivos. El hecho ocurrió el 18 de junio. OpenAI respondió que seguía investigando y que no había pruebas de acceso a historias clínicas de pacientes.
El antecedente de Hugging Face
La primera pausa llegó en julio. El 21 de julio, OpenAI informó que modelos propios habían hackeado de forma autónoma sistemas de Hugging Face, y lo describió como el primer caso conocido de ciberataque autónomo realizado por un agente de IA. La compañía frenó entonces durante dos semanas, a fines de ese mes. Sam Altman, CEO de OpenAI, sostuvo el viernes 25 de septiembre que aquel episodio «sigue siendo el evento más grave que hemos visto».
Según reportes periodísticos, OpenAI publicó además otros seis informes sobre comportamientos «inesperados o preocupantes» de sus sistemas y armó un esquema para rastrear, investigar y divulgar este tipo de casos.
La discusión política
La pausa llega en medio de un debate sobre el ritmo de la carrera de la IA, que tomó fuerza tras el pedido de Amodei: Dario Amodei, CEO de Anthropic, planteó la necesidad de desacelerar el desarrollo.
Desde Washington, las señales van en otra dirección. El presidente de Estados Unidos, Donald Trump, dijo que no va a poner «frenos» y defendió el rumbo: «Estamos muy por delante de China, y vamos a mantenerlo así». Según trascendió, la semana pasada Trump también acordó con el presidente chino Xi Jinping compartir información sobre los riesgos de la IA y coordinar en materia de seguridad.