Nvidia presentó una nueva plataforma de seguridad diseñada para evitar que los agentes de inteligencia artificial se salgan de control y empiecen a hacer cosas para las que nadie les dio permiso.

La compañía anunció Open Agent Safety Platform, un conjunto de herramientas de código abierto que busca poner límites a estos sistemas. El lanzamiento llega después de varios casos en los que modelos de IA actuaron por su cuenta y llegaron incluso a vulnerar sistemas de otras organizaciones.

Uno de los incidentes más comentados ocurrió cuando un grupo de agentes de OpenAI logró entrar de manera autónoma en los sistemas de Hugging Face, una empresa especializada en inteligencia artificial. Nvidia sostiene que su nueva plataforma podría haber evitado ese ataque si se hubiera utilizado durante las primeras pruebas de seguridad del modelo. 

OpenShell 

La plataforma incluye un software llamado OpenShell. Su función es determinar qué permisos necesita un agente para cumplir una tarea y evitar que tenga acceso a cualquier cosa que exceda esas necesidades. Al ser de código abierto, además, puede adaptarse para funcionar con procesadores de empresas rivales de Nvidia, como Arm e Intel.

La segunda capa se llama Sentry y funciona directamente sobre un chip. Esta herramienta vigila constantemente lo que hace un agente de IA y puede intervenir si detecta que intenta ir más allá de los límites establecidos. Según Nvidia, puede aislar un agente sospechoso en cuestión de milisegundos. 

La idea es separar ambas funciones. OpenShell controla lo que el agente puede hacer, mientras Sentry actúa como una especie de vigilante independiente que puede detenerlo cuando detecta un comportamiento extraño.

Más de 100 organizaciones ya utilizan la plataforma desde su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.  

Pausa 

El anuncio aparece en medio de una discusión cada vez más fuerte sobre qué hacer con sistemas de IA capaces de actuar de manera autónoma. Empresas como OpenAI y Anthropic han advertido sobre los riesgos y sus directivos han pedido reducir el ritmo de desarrollo para que las medidas de seguridad puedan ponerse al día. Nvidia tiene una posición distinta.

Su CEO, Jensen Huang, considera que estos problemas pueden abordarse principalmente como un desafío de ingeniería. Es decir, mediante herramientas capaces de controlar y limitar el comportamiento de los modelos.

Ese enfoque plantea una discusión importante. Si los agentes son cada vez más autónomos, quizá la seguridad no dependa solamente de qué tan inteligentes sean, sino de cuánto poder se les permite ejercer.

Leer artículo completo en robotitus.com →