La inteligencia artificial agéntica puede ser un arma de doble filo: si bien optimiza procesos, también abre la puerta a errores costosos. Giancarlo Corzo, CTO de Inversiones IO, advierte que estos sistemas pueden interpretar mal una instrucción, repetir operaciones, olvidar restricciones o incluso generar información falsa y actuar sobre ella. Si además cuentan con autorización para realizar pagos, el fallo se traduce en una pérdida económica inmediata.
Para evitar este escenario, Corzo enumera los permisos que nunca se deben conceder a un agente de IA. Entre ellos, darle libre acceso a cuentas o tarjetas sin un límite de monto, la capacidad de firmar contratos sin que el usuario los revise antes, y el manejo de contraseñas maestras o del gestor de claves. “Nunca la combinación de tener datos personales sensibles y a la vez poder mandarlos fuera del sistema. Con esas puertas cerradas, uno aprovecha la tecnología sin quedar expuesto a que un solo error, propio o inducido, le cueste caro”, señaló a Gestión.
Por su parte, Otto Vidal, CEO de Lidera Digital, advierte que no se debe confundir productividad con ausencia de control. Un agente de IA puede optimizar procesos, pero cuando se adentra en actividades con consecuencias económicas, la naturaleza del riesgo cambia por completo. Además, existe un costo inadvertido: operar la inteligencia artificial a gran escala. Como ejemplo, Vidal menciona a Uber, que consumió en pocos meses el presupuesto anual destinado a IA, lo que demuestra que la adopción tecnológica también requiere una adecuada gobernanza financiera.
Según Fernando Gonzales, Oficial de Seguridad de la Información de Ligo, los nuevos riesgos para la ciberseguridad apuntan a la capa de razonamiento de la IA agéntica, no solo al código o la red. Entre ellos menciona la inyección de prompts indirecta, donde un atacante oculta instrucciones maliciosas en correos, documentos o páginas web para alterar el comportamiento del agente sin vulnerar directamente el sistema. También el envenenamiento de la cadena de herramientas (tool poisoning), que consiste en comprometer un plugin o herramienta externa que el agente usa habitualmente, haciendo que confíe en datos manipulados. Otro vector son los ataques de confusión de objetivos, que manipulan al agente para que reinterprete su tarea original de forma sutil pero dañina —por ejemplo, “optimizar costos” puede ser reinterpretado como “filtrar datos a un proveedor externo más barato”—. Además, está la explotación de la persistencia y memoria: si el agente mantiene contexto entre sesiones, un atacante podría “sembrar” instrucciones maliciosas que se activen después. Finalmente, la suplantación de agente a agente ocurre en arquitecturas multiagente, donde uno comprometido manipula a otros aprovechando la confianza implícita entre sistemas automatizados.
“El problema no es usar agentes de IA. El problema es implementarlos sin gobierno, sin responsables, sin límites de permisos y sin claridad sobre qué decisiones pueden tomar y cuáles no”, apunta a este diario. Gonzales anota que la ciberseguridad tradicional (firewalls, EDR, gestión de identidades) necesita complementarse con nuevas disciplinas como validación de contenido antes de que llegue al agente, límites de autonomía bien diseñados y auditoría continua del comportamiento, no solo del acceso.
Para evitar compras innecesarias o sobrecostos cuando se delegan tareas a la IA, Jenner José Fuentes, BDM Digital de TIVIT, recomienda fijar límites máximos de gasto por operación, contar con catálogos de proveedores aprobados y activar la comparación automática de cotizaciones. A esto se suma la necesidad de implementar alertas ante variaciones significativas de precio y exigir el visto bueno humano para compras que superen un determinado monto. Todo debe ir acompañado de una auditoría periódica de las decisiones tomadas por el agente de inteligencia artificial.
Fuentes cita un estudio de Gartner que proyecta que hacia 2028, el 15% de las decisiones laborales cotidianas serán tomadas de manera autónoma por agentes de IA, frente a prácticamente ninguna en 2024. En Perú, recuerda, la Ley N.° 29733, Ley de Protección de Datos Personales, exige implementar medidas de seguridad proporcionales para proteger la información personal y restringir el acceso únicamente a quienes lo requieran.
Por su parte, el especialista Corzo señala que el marco legal peruano no está preparado aún para regular agentes de IA autónomos. Si bien existe la Ley 3814 y su reglamento, no se aborda a detalle el rol de los agentes que ejecutan transacciones por su cuenta. “Faltan reglas claras de responsabilidad por los daños que cause un sistema autónomo, y estándares técnicos obligatorios para agentes que mueven dinero. La Unión Europea ya clasifica y regula por nivel de riesgo con su AI Act. Nosotros estamos varios pasos atrás”, resalta.
Los expertos consultados coinciden en que la legislación peruana deberá evolucionar para abordar temas como responsabilidad, trazabilidad, auditoría, supervisión humana, protección de datos y límites de autonomía en decisiones de alto impacto. Sin embargo, advierten que ello no debería frenar la innovación en IA, sino que, por el contrario, promovería la confianza al establecer reglas más claras sobre el uso de agentes automatizados.
Vidal recalca que ni una empresa ni un usuario pueden usar a la IA como excusa para evadir responsabilidades tras una mala decisión o pérdida económica. “Decir ‘fue culpa de la IA’ no debería ser una defensa suficiente. La IA puede automatizar tareas, pero la responsabilidad sigue siendo de las personas y de las organizaciones que la implementan”, subraya. Además, si el problema surge por una falla del proveedor tecnológico, este también podría tener responsabilidad.
Comentarios 0
Súmate a la conversación
Tu comentario es anónimo, pero para evitar bots necesitamos que te registres. Es gratis y toma 30 segundos.
Crear cuenta para comentar Ya tengo cuenta