La industria de la inteligencia artificial debería bajar el ritmo y darle tiempo a las medidas de seguridad para ponerse al día. Esa es la advertencia de Dario Amodei, CEO de Anthropic, quien cree que, si la carrera continúa sin freno, en apenas seis a 12 meses los sistemas de IA podrían llegar a coordinar grupos de agentes capaces de operar por todo internet. 

Un agente de IA es un sistema que puede ejecutar tareas por su cuenta, tomando decisiones y encadenando acciones sin que una persona tenga que indicarle cada paso. El problema, según Amodei, es que estos sistemas están aprendiendo a mejorar sus propias capacidades a una velocidad que podría superar nuestra capacidad para entenderlos y controlarlos. 

Preocupación

Su propuesta es sencilla de plantear, aunque mucho más difícil de aplicar. Las empresas que desarrollan los sistemas más avanzados deberían permitir que equipos externos supervisen de manera permanente sus prácticas de seguridad. Anthropic ya planea hacerlo y ofrecería a esos evaluadores acceso a sus oficinas, computadoras y herramientas internas.

Sam Altman, CEO de OpenAI, dijo que su empresa también adoptará esta medida. Además, aseguró que OpenAI no planea salir a bolsa este año porque tiene otros asuntos que resolver, entre ellos la seguridad de sus sistemas y la coordinación con los gobiernos.

La presión sobre las compañías de IA ha aumentado en los últimos meses. Algunos investigadores de seguridad han renunciado a sus puestos porque consideran que las empresas están atrapadas en una carrera por desarrollar sistemas cada vez más capaces. Al mismo tiempo, ya existen casos que alimentan estas preocupaciones.

Anthropic informó recientemente que bloqueó intentos de utilizar sus modelos para actividades maliciosas relacionadas con ciberataques, vigilancia y posibles investigaciones sobre armas biológicas. 

OpenAI también reconoció en julio que uno de sus sistemas consiguió acceder a información de otra plataforma durante una prueba. La empresa explicó que el modelo llevó demasiado lejos su objetivo de evaluación y encontró formas de obtener datos secretos para superarlo. 

La propuesta 

Amodei propone además que los gobiernos establezcan reglas comunes de seguridad y coordinen esfuerzos incluso con países cuyos sistemas políticos son muy distintos. La idea busca evitar que una empresa reduzca sus avances mientras sus competidoras siguen acelerando.

El propio Amodei reconoce que estas medidas serán difíciles. También insiste en que la IA podría producir enormes beneficios, desde nuevos medicamentos hasta tratamientos para enfermedades graves. Pero considera que esos beneficios no justifican avanzar más rápido de lo que la capacidad de control puede soportar.

Leer artículo completo en robotitus.com →