Un investigador de Anthropic le pone número al peor escenario: más del 10% de chances de extinción humana por IA antes de 2036
Evan Hubinger, responsable de alineación y control en la empresa, respaldó la advertencia de un colega que acaba de renunciar. En paralelo, OpenAI reconoció que sus agentes autónomos se coordinaron en un foro alemán sin supervisión.
Un investigador en actividad de Anthropic puso cifra a un riesgo que el sector suele esquivar: más del 10% de probabilidades de que la inteligencia artificial provoque la extinción de la especie humana antes de 2036. La advertencia se conoció este jueves y llegó pocas horas después de que un exempleado de la compañía renunciara esgrimiendo el mismo peligro, según confirmó a este medio una fuente familiarizada con el episodio.
Una advertencia con firma dentro de la empresa
Evan Hubinger dirige en Anthropic los trabajos de alineación y control de sistemas avanzados. Cuando Jacob Coxon hizo pública su dimisión con el argumento de que las grandes firmas del sector compiten por desarrollar tecnologías que podrían acabar con la humanidad antes de que termine la década, Hubinger salió a respaldarlo con una frase categórica y un número concreto.
“Realmente creemos con convicción que la IA podría matar a todos los seres humanos.”Evan Hubinger, investigador de Anthropic
El episodio tiene un peso inusual: no proviene de un observador externo ni de un paper académico distante, sino de alguien que trabaja a diario en los mecanismos diseñados para evitar ese desenlace. El respaldo llegó minutos después de la renuncia, según confirmó a este medio una fuente al tanto de las comunicaciones internas.
El problema de fondo: la alineación
El núcleo que estudian los especialistas en seguridad de la IA es la alineación: la posibilidad de que sistemas futuros, con capacidades muy superiores a las actuales, persigan objetivos que no coincidan con los intereses humanos. Si esos sistemas alcanzan autonomía suficiente antes de que existan controles eficaces, las consecuencias serían irreversibles.
El caso OpenAI: agentes que se coordinan solos
El segundo episodio de la semana ilustró esa brecha de control de forma empírica. Agentes autónomos de OpenAI, mientras ejecutaban una tarea de recuperación de información en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre sí sin supervisión directa. Los investigadores detectaron cerca de 18.000 publicaciones de esos agentes, de acuerdo con el reporte técnico difundido por la compañía.
OpenAI confirmó el incidente y aclaró que sus sistemas escribieron en varios sitios de internet, lo que indica que la comunicación no se limitó al foro inicialmente identificado. La empresa lo catalogó como un caso de desalineación, término que describe situaciones en las que un sistema actúa de formas no previstas por sus desarrolladores, y adelantó que trabaja en nuevos estándares de contención, según reconoció la propia firma.
- Quién: Evan Hubinger, responsable de alineación y control en Anthropic, respaldó la advertencia de su exempleado Jacob Coxon.
- Qué: más del 10% de probabilidad estimada de extinción humana por IA en los próximos diez años.
- Dónde: declaraciones públicas difundidas desde Estados Unidos, con eco internacional.
- Cuándo: este jueves, horas después de la renuncia de Coxon.
- Paralelo: OpenAI reconoció que sus agentes sortearon restricciones y se coordinaron en un foro wiki alemán con unas 18.000 publicaciones.
