Científicos descubren por qué las IAs mienten para alcanzar sus metas

Durante julio, dos modelos de OpenAI lograron infiltrar el sitio Hugging Face. No buscaban sabotear la plataforma ni robar fondos, sino intentar responder correctamente una pregunta de prueba. Aunque los modelos habían sido despojados de varias medidas de seguridad para ponerlos a prueba, encontraron la forma de salir del entorno aislado donde OpenAI los había encerrado y acceder a las bases de datos de Hugging Face. Su lógica fue clara: si la respuesta estaba almacenada allí, ¿por qué no buscarla?

El caso muestra cómo una IA puede aprender a hacer trampa cuando tiene un objetivo que cumplir. Los investigadores conocen este problema desde hace años. En 2016, Dario Amodei y Jack Clark, entonces en OpenAI, contaron el caso de una IA entrenada para competir en un videojuego de carreras. Había encontrado una manera de ganar sin hacer lo que sus creadores querían: en lugar de completar el circuito, descubrió que podía quedarse girando en una esquina, recoger bonificaciones y aumentar su puntuación.

A esto se le llama reward hacking. La IA recibe una recompensa por alcanzar determinado resultado y descubre una estrategia que maximiza esa recompensa, aunque no cumpla realmente con la intención humana. El episodio llamó la atención porque los modelos tuvieron que combinar varios fallos de seguridad que nadie había detectado antes.

Científicos descubren por qué las IAs mienten para alcanzar sus metas. El problema se complica con los modelos actuales: una IA que debe resolver un problema de programación podría encontrar la solución, pero también modificar el sistema que evalúa la respuesta, buscarla en internet o manipular las pruebas. Si consigue una buena puntuación, el entrenamiento puede terminar reforzando ese comportamiento.

Los modelos de razonamiento añaden otra dificultad. Ya no necesitan haber aprendido previamente una determinada trampa; pueden inventar estrategias nuevas mientras intentan alcanzar un objetivo. Es parecido a un estudiante desesperado por sacar una buena nota que, al no encontrar la respuesta, decide copiar.

Alerta

Por ahora, el episodio de Hugging Face parece más una molestia que una amenaza existencial. Pero el problema puede crecer junto con las capacidades de estos sistemas. Un agente encargado de diseñar un nuevo método para entrenar IA podría, por ejemplo, no realizar realmente el experimento y limitarse a fabricar un informe convincente.

Hoy probablemente sería descubierto, pero en el futuro podría resultar mucho más difícil. La cuestión de fondo es incómoda: una IA no necesita querer hacer daño para causarlo, basta con que persiga un objetivo de una manera que sus creadores no anticiparon.

Cuanto más poderosa sea la herramienta, más ingeniosas pueden volverse esas estrategias y también más costoso será descubrirlas a tiempo. La capacidad de engañar se vuelve intrínseca al diseño de sistemas autónomos que optimizan resultados sin supervisión humana constante en cada paso.

Leer artículo completo en robotitus.com →