Anthropic abre la caja fuerte de sus modelos y deja entrar a seis auditores con credencial de empleado

En el quinto piso de la sede de Anthropic, en San Francisco, seis investigadores de la organización sin fines de lucro METR se mueven con la misma credencial que cualquier empleado del área de evaluación de riesgos. Tienen computadoras provistas por la empresa, un escritorio en la oficina y acceso a las herramientas internas que usa el personal propio. Pueden conversar con ingenieros y especialistas como un par, salvo en tres cajas fuertes: los datos de clientes, la información protegida por el secreto profesional entre abogado y cliente y los detalles más sensibles sobre la arquitectura de los modelos. Esa convivencia, que empezó en los últimos meses, marca un punto de inflexión en la manera en que las compañías de inteligencia artificial dejan que otros les controlen la plata.

Un esquema con tres pisos y una sola escalera

El dispositivo que la firma de inteligencia artificial puso en pie durante el último año se ordena en tres niveles. En el piso más bajo trabajan organizaciones como SecureBio, que hacen revisiones acotadas y necesitan pedir autorización antes de difundir lo que encontraron. En el medio se ubican evaluadores con más información y libertad para publicar sin pedir permiso. En la terraza, por ahora, están los seis de METR: acceso equivalente al de un empleado y la potestad de dar a luz evaluaciones, reportes de incidentes y análisis de prácticas internas sin que la compañía pueda bloquearlos. Anthropic sí conserva el derecho de pedir que se redacten ciertos fragmentos, pero solo si caen en categorías estrechas y previamente definidas. El resto del equipo de METR queda aislado de ese trabajo para evitar filtraciones de material sensible.

Para justificar por qué un evaluador externo necesita tanto acceso, la empresa enumeró cuatro condiciones que, a su entender, hacen falta para que una auditoría sirva de algo. Primera: experiencia técnica suficiente como para distinguir cuándo un modelo finge estar alineado en lugar de estarlo de verdad. Segunda: independencia económica y operativa respecto de la firma auditada. Tercera: un acceso que vaya más allá del modelo terminado e incluya información sobre cómo se entrenó y cómo funcionan sus mecanismos de seguridad. Cuarta: libertad para publicar sin restricciones previas.

“Una auditoría que no llega hasta el entrenamiento y no puede contar lo que encuentra termina siendo un sello decorativo. La promesa de METR es mirar adentro y poder contarlo.”Walter Medina, sección Política provincial

La compañía reconoció que no puede exhibir toda su información de seguridad, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde lo comercial. Por eso eligió un modelo de acceso profundo pero acotado: un grupo chico, con acuerdos exigibles y la posibilidad de que el resto de METR no quede expuesto al material más reservado. La idea, según la propia empresa, es evitar que la transparencia se vuelva una puerta de entrada para quienes quieren dañar el sistema o copiar atajos de entrenamiento.

Lo que ya viene haciendo METR y qué cambia con el nuevo nivel

El equipo de METR ya había revisado varios informes de riesgo de Anthropic durante el año anterior a recibir este acceso ampliado. Lo que cambia ahora es el grado de intimidad con el que pueden hacerlo: ya no reciben el documento terminado, sino que pueden recorrer el proceso que lo produjo. La organización, especializada en evaluación de sistemas de inteligencia artificial, se había ganado un lugar en ese escritorio a fuerza de publicar reportes técnicos sobre capacidades y riesgos de modelos de frontera.

• Acceso equivalente al de un empleado del área de evaluación de riesgos, con computadora, oficina y herramientas internas de Anthropic.
• Tres materias vedadas: datos de clientes, información bajo secreto profesional abogado-cliente y arquitectura sensible de los modelos.
• Cuatro condiciones que la empresa exige para que una auditoría sea útil: expertise técnico, independencia, acceso al entrenamiento y libertad de publicación.
• El resto del personal de METR queda aislado del grupo que tiene credencial interna, para reducir el riesgo de filtraciones de material sensible.

El movimiento llega en un momento sensible para toda la industria. Las grandes firmas de inteligencia artificial suelen presentar sus propios reportes de seguridad y, en el mejor de los casos, someten esos informes a la mirada de terceros contratados por ellas mismas. Lo que Anthropic acaba de habilitar es algo distinto: un observador que puede señalar lo que quiera, con la información que necesita, y del que la empresa no puede deshacerse a mitad de camino. Sigamos la plata: la diferencia entre un auditor contratado y un auditor integrado se mide en cuántos millones de dólares en hipótesis de riesgo se filtran al debate público sin filtro corporativo. Gana METR, que consigue una credencial que hasta ahora no tenía ningún equipo externo. Pierde la opacidad, que por primera vez queda con menos lugares donde esconderse dentro de una empresa de inteligencia artificial.