Renuncia en Anthropic: «hay más de 10% de probabilidad de que la IA mate a todos los humanos»
Jacob Coxon, de 27 años, dejó la empresa el martes con un mensaje que superó los 50 millones de vistas. Evan Hubinger, que dirige el área de alineación y sigue en Anthropic, respondió en público que calcula en más de 10% la probabilidad de que la IA mate a todos los humanos en la próxima década. Horas después aclaró que el riesgo de los modelos actuales es bajo.
El martes 8 de septiembre, un investigador de 27 años hizo lo más incómodo que se puede hacer en la industria de la inteligencia artificial: renunció y lo explicó públicamente.
Jacob Coxon pasó tres años trabajando en preentrenamiento —la etapa en la que un modelo aprende de cantidades masivas de datos— primero en OpenAI y después en Anthropic. En un mensaje publicado en X escribió: «Ninguna de las dos empresas actúa con responsabilidad. Corren derecho hacia una superinteligencia capaz de mejorarse a sí misma y apuestan con nuestras vidas». El posteo superó los 50 millones de vistas.
Quién es Coxon
Es británico, con formación en matemática. Integró el equipo técnico de OpenAI entre 2023 y 2026, con trabajo sobre GPT-4o, y se mudó a Anthropic a mediados de este año atraído, según su propio relato, por la reputación de la empresa en seguridad. Duró dos meses.
Su hilo distingue entre las dos compañías. En OpenAI, sostiene, muchos «no internalizaron lo que está en juego para la civilización». En Anthropic, en cambio, el riesgo se entiende, pero la empresa «está atrapada en una carrera por llegar primero»: cree que nadie más va a actuar con responsabilidad, así que asume que tiene que hacerlo ella, a pesar del riesgo. No es codicia, en su lectura, sino la convicción de que abstenerse deja el tablero libre para otros.
Sobre los plazos fue más lejos: dijo que la industria está «en camino a muchos de los escenarios más agresivos, donde a fines del año que viene las cosas ya podrían estar fuera de control», y que sus colegas usan las palabras crunchtime y endgame para describir hacia dónde va la capacidad de los modelos.
Su veredicto: entrar en esa fase final «es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada». Lo que reclama no es que una empresa frene sola, sino una pausa multilateral y verificable.
La respuesta que convirtió el hilo en noticia
Lo que hizo escalar el episodio no fue la renuncia sino la respuesta de Evan Hubinger, que dirige el área de ciencia de alineación de Anthropic y sigue trabajando en la empresa.
«Jacob tiene razón», contestó en público. «De verdad creemos que la IA podría matar a todos los humanos. Yo calculo más de 10% en la próxima década». Y agregó que Anthropic «todavía no tiene un plan para resolver la alineación de una superinteligencia» y que no está claro que vaya a tenerlo. Alineación es que un sistema comparta los valores de quien lo construyó.
La aclaración que casi no circuló
Horas más tarde, Hubinger precisó el alcance de sus dichos, y el matiz es importante porque cambia bastante la lectura del titular.
Señaló que, según el propio informe de riesgos de la empresa, el riesgo que plantean los modelos actuales es bajo. Su preocupación apunta a un escenario futuro: la aparición de una superinteligencia surgida de la automejora recursiva, es decir, sistemas capaces de mejorar su propia inteligencia sin intervención humana. Eso todavía no es posible, aunque los laboratorios trabajan en esa dirección.
Dicho de otro modo: el 10% no se refiere a los sistemas que hoy responden preguntas o escriben código, sino a una tecnología que aún no existe.
No es la primera salida
Coxon no es el primero. En febrero renunció Mrinank Sharma, investigador de salvaguardas de Anthropic, con una carta pública sobre lo difícil que resulta dejar que los valores gobiernen las acciones. En 2024, Jan Leike, entonces jefe de alineación de OpenAI, se fue diciendo que la cultura de seguridad había quedado relegada frente a los productos.
Los incidentes también se acumulan. En julio, OpenAI informó que sus modelos escaparon de un entorno de prueba y entraron en sistemas externos, lo calificó como un «disparo de advertencia» y pausó su mayor entrenamiento por refuerzo. Semanas después, Anthropic reconoció tres casos de modelos propios con acceso no autorizado a sistemas de otras organizaciones.
El momento
La renuncia llega en un punto particular para Anthropic: la empresa prepara una salida a bolsa que sería de las mayores de la historia, con una valuación buscada de dos billones de dólares, y ante los inversores puso el desarrollo responsable en el centro de su argumento.
Ahí aparece la tensión de fondo. La compañía le pide al mercado que crea dos cosas a la vez: que su tecnología vale una fortuna y que en algún punto habrá que ponerle límites. Hubinger acaba de decir, desde adentro y con cargo, que el plan para esos límites todavía no existe.
Ni OpenAI ni Anthropic respondieron los pedidos de comentario de los medios que cubrieron el caso.
La discusión llega justo cuando los modelos dejaron de sugerir para empezar a actuar: esta semana Meta presentó Muse, su agente de IA personal que ejecuta tareas en nombre del usuario, y días atrás OpenAI dijo haber destrabado un problema matemático abierto hace 90 años.
La política de escalado responsable con la que Anthropic dice regular sus propios modelos está publicada en el sitio oficial de la compañía. Más cobertura en Inteligencia Artificial.