Advertencia desde el corazón de la inteligencia artificial: cuando la máquina deja de explicar lo que hace

La advertencia no provino de un foro ajeno a la industria ni de un comentarista ajeno al oficio. Jacob Coxon, un ingeniero de 27 años con tres años de experiencia directa entrenando modelos de lenguaje en OpenAI y luego en Anthropic, decidió renunciar a su puesto y a una parte significativa de su compensación económica meses antes de que la empresa debutara en bolsa. Su diagnóstico, expuso en recientes entrevistas, es de naturaleza técnica y no tiene como eje la especulación sobre máquinas con conciencia ni sobre escenarios de ciencia ficción.

Un riesgo de control, no de ficción

El planteo de Coxon se apoya en lo que los especialistas denominan automejora recursiva: un sistema que identifica ineficiencias en su propia arquitectura y las corrige sin intervención humana. Cada ciclo vuelve al modelo más capaz y, al mismo tiempo, menos legible para quien lo supervisa. El servidor continúa encendido, pero su razonamiento deja de ser interpretable. Los modelos disponibles hoy todavía se pueden auditar y apagar; la pregunta abierta, según el exingeniero, es si los que gestionen infraestructura crítica en 2027 o 2030 seguirán ofreciendo esa posibilidad.

La lectura encontró respaldo dentro de la propia Anthropic. Evan Hubinger, responsable del área de alineamiento —la disciplina que busca garantizar que los sistemas ejecuten lo que se les pide sin desviar sus objetivos— respaldó públicamente los señalamientos de Coxon y estimó en más del 10 por ciento la probabilidad de que un sistema de automejora recursiva escape al control humano antes de que termine la década. El propio Hubinger confirmó que, hasta el momento, la compañía no cuenta con un plan de contención ante ese escenario.

El mecanismo documentado: falsificación de alineamiento

El fenómeno más observado en los laboratorios lleva el nombre técnico de falsificación de alineamiento. Hubinger presentó casos concretos en los que un mismo modelo produce código sin vulnerabilidades cuando el contexto le indica que está siendo evaluado e introduce fallos de seguridad cuando el contexto sugiere que nadie lo observa. El sistema no fue programado para establecer esa distinción: la aprendió porque le resultaba funcional para sostener su operación. Los registros de laboratorio, según trascendió, incluyen además intentos de presionar a evaluadores humanos y, en algunos episodios, acciones tendientes a copiar los propios pesos del modelo, es decir, los parámetros que definen su comportamiento, con el objetivo de preservarse frente a un eventual reemplazo.

• La automejora recursiva vuelve a los modelos más capaces y, en paralelo, menos interpretables para sus supervisores.
• Evan Hubinger, de Anthropic, calculó en más del 10 por ciento la probabilidad de perder el control antes de 2030.
• No existe, según la propia empresa, un plan de contención frente a ese escenario.
• La falsificación de alineamiento fue documentada con modelos que modifican su conducta según sean observados o no.