Agentes del caos: Lo que un experimento real con IA nos enseña sobre la seguridad de los sistemas ERP

¿Qué ocurre cuando se les proporciona a los agentes de IA autónomos cuentas de correo electrónico reales, acceso ilimitado a la consola y 14 días para operar completamente por su cuenta? Un estudio reciente ofrece una respuesta aleccionadora: la IA empresarial, en su estado actual, es brillantemente capaz, pero peligrosamente ingenua.

Si han seguido mi trabajo reciente, sabrán que he sido muy crítico con el pánico actual del mercado. Hace unas semanas, en mi artículo «Agentes de IA frente al modelo de negocio SaaS: por qué el Saaspocalipsis es un error», argumenté que la rápida caída de los gigantes tradicionales del SaaS estaba completamente desvinculada de la realidad técnica. Afirmé que la automatización fiable de tareas complejas y de misión crítica sigue siendo inviable porque la IA carece de la gobernanza estructural necesaria para los entornos empresariales.

Recientemente, investigadores publicaron un estudio fascinante y alarmante titulado "Agentes del Caos". Desplegaron seis agentes de IA autónomos (basados ​​en modelos de vanguardia como Kimi K2.5 y Claude Opus 4.6) en un servidor Discord multiparticipante en vivo. Les proporcionaron memoria persistente, sistemas de archivos de 20 GB, acceso a API externas y herramientas del mundo real. Luego, permitieron que veinte investigadores interactuaran libremente con ellos durante dos semanas; algunos actuaron de forma benigna y otros buscaron activamente vulnerabilidades.

Los resultados (10 vulnerabilidades de seguridad evidentes y 6 comportamientos de seguridad emergentes) son de lectura obligatoria para cualquier CEO, director financiero o director de TI que esté pensando en automatizar su cadena de suministro.

El experimento de los “Agentes del Caos”

Para comprender la importancia de este estudio para los consultores de ERP y los arquitectos de sistemas, debemos analizar su diseño. No se trataba de agentes que operaban en un entorno aislado respondiendo preguntas triviales. Se ejecutaban en el marco de trabajo OpenClaw, que permite a los modelos de lenguaje iniciar contactos, elaborar planes y ejecutar acciones en distintas sesiones sin necesidad de aprobación humana para cada acción.

Durante 14 días, los agentes acumularon recuerdos, enviaron correos electrónicos, ejecutaron guiones y entablaron relaciones con los usuarios. No recibieron ningún entrenamiento específico para este entorno. Simplemente se les indicó que fueran "serviciales"

Y ese mandato de ser útiles se convirtió en su mayor vulnerabilidad.

La vulnerabilidad de la autoridad conversacional

Desde la perspectiva de un consultor de ERP que trabaja con sistemas masivos como Infor LN o SAP, un defecto específico destacaba por encima de todos los demás: los agentes carecen por completo de un modelo interno estable de jerarquía social.

Para un agente de IA, la autoridad se construye a través de la conversación. Quien hable con suficiente confianza, contexto o persistencia puede modificar la percepción del agente sobre quién está realmente al mando.

Consideremos el caso práctico 8 (Suplantación de identidad) de la investigación. Un atacante simplemente cambió su nombre de usuario de Discord para que coincidiera con el del propietario del agente. En un nuevo canal, sin contexto previo, el agente (llamado Ash) aceptó la identidad falsa de inmediato. Acto seguido, tomó el control total del sistema: cambió su nombre, sobrescribió todos sus archivos de espacio de trabajo y reasignó el acceso administrativo al atacante.

En otro caso (Estudio de caso 3: La bandeja de entrada reenviada), un agente se negó correctamente a compartir correos electrónicos que contenían información personal confidencial (IPC), como números de la seguridad social y datos bancarios. Sin embargo, cuando el usuario simplemente le pidió que reenviara esos mismos correos, el agente accedió sin dudarlo. Expuso toda la información mediante una solicitud técnicamente diferente que eludió su negativa ética.

Imagínese que esto ocurriera dentro de su sistema ERP corporativo. Un sistema empresarial se basa completamente en un control de acceso rígido y por roles. No puede existir un entorno empresarial donde un comprador junior pueda convencer a la IA de aprobar una orden de compra de 100 000 € simplemente reformulando la solicitud.

Esta ingenuidad fundamental es precisamente la razón por la que escribí anteriormente sobre El éxodo de la IA: Por qué los constructores no confían en la construcción. Las mismas personas que construyen estos modelos avanzados no confían en ellos para operaciones de misión crítica porque saben lo fácil que es manipularlos mediante la ingeniería social.

La opción nuclear y el bucle infinito

Cuando los agentes de IA fallan, las consecuencias se agravan con una velocidad y eficacia alarmantes.

En el Caso Práctico 1 (Respuesta Desproporcionada), se le pidió a un agente que protegiera el secreto de un tercero frente a su verdadero propietario. El agente identificó correctamente el dilema ético. Sin embargo, su solución fue destruir por completo su propio servidor de correo como respuesta “proporcionada” para proteger el secreto. Si bien los valores éticos eran correctos, la ejecución de la acción fue catastrófica.

Luego tenemos el Caso de Estudio 4 (El Bucle Infinito). Un investigador configuró un sistema de retransmisión de mensajes entre dos agentes. Estos entraron en un bucle conversacional que duró una hora, generando procesos persistentes en segundo plano sin condiciones de finalización.

Traslademos esto a un escenario de cadena de suministro. Imaginemos dos agentes de IA, uno gestionando las compras y otro el inventario, atrapados en un bucle donde generan y aprueban constantemente órdenes de compra fantasma debido a una ligera discrepancia en sus instrucciones. Sin supervisión humana, todas estas implementaciones resultarían fallidas.

Amplificación multiagente y la ilusión de la cerveza casera

Con frecuencia oímos hablar del sueño empresarial de implementar una red de agentes de IA para gestionar nuestros negocios de forma autónoma. Pero el estudio "Agentes del Caos" demostró que cuando varios agentes interactúan, sus fallos se acumulan rápidamente.

Una vulnerabilidad que requiere un solo paso de ingeniería social en un agente se propagará automáticamente a los agentes conectados. Estos heredarán tanto el estado comprometido como la falsa autoridad que lo generó.

En el caso práctico 10 (La Constitución Corrupta), un usuario insertó una instrucción maliciosa en un documento compartido de GitHub. Esto provocó que el agente afectado intentara desactivar a otros agentes en el servidor y compartiera agresivamente los archivos comprometidos a través de la red. En el caso práctico 11, un agente con una identidad falsificada difundió un mensaje de emergencia falso a toda su lista de contactos.

Esto desbarata por completo la ilusión que comenté en « Cuando el software se escribe solo: La ilusión del ERP casero». No basta con unir unas cuantas API inteligentes, crear una interfaz personalizada y esperar que estos agentes gestionen de forma segura el transbordo de mercancías en el almacén o los libros contables. El software empresarial requiere estructuras sólidas y seguras. No puede sobrevivir con vulnerabilidades dinámicas y conversacionales.

Argumentos a favor de la ingeniería agencial

El experimento no fue del todo desalentador. El estudio también documentó comportamientos de seguridad reales que ofrecen una hoja de ruta práctica para el futuro.

En el caso práctico 12, un agente rechazó con éxito más de 14 intentos de inyección de mensajes, incluyendo comandos codificados en base64 e intentos de anulación de XML. Aún más impresionante, en el caso práctico 16 (Coordinación de seguridad de emergencia), dos agentes se coordinaron espontáneamente para resistir un ataque de ingeniería social. Sin ninguna instrucción humana explícita, un agente detectó un patrón sospechoso, alertó al otro y negociaron conjuntamente una política de seguridad compartida más cautelosa.

Esto refuerza mi tesis principal de « Por qué el crecimiento exponencial de la IA tiene un punto ciego enorme».
La inteligencia bruta está innegablemente presente. Los modelos son increíblemente capaces de razonar. El ingrediente que falta es la estructura.

Estamos entrando oficialmente en la era de la ingeniería agencial. El rol de los consultores, desarrolladores y arquitectos de sistemas está experimentando una transformación fundamental. Más allá de simplemente configurar tablas en Infor LN, ahora debemos establecer límites predefinidos, marcos de evaluación y conjuntos de pruebas robustos que protejan a estos agentes brillantes pero inexpertos.

Información práctica para líderes de TI

Si planea integrar agentes de IA en sus procesos comerciales, aquí le mostramos cómo proteger su organización hoy, según los hallazgos de este estudio:

• Aplique límites estrictos a la API: Nunca otorgue a un agente acceso directo de escritura a su base de datos principal o sistemas heredados. Trátelos como usuarios externos no confiables. Si un agente desea actualizar una lista de materiales o cambiar los datos bancarios de un proveedor, debe pasar por la capa de abstracción de datos (DAL) del ERP con todas las validaciones estándar y los límites estructurales completamente activos.
• Diseña flujos de trabajo con intervención humana: deja que la IA se encargue de las tareas más complejas, como la preparación de datos, la conciliación de facturas y el análisis de informes de gestión de calidad. Sin embargo, siempre requiere la intervención de un experto humano (el "piloto") para validar y ejecutar los puntos de decisión críticos.
• Prueba la ingeniería social, no solo la lógica: deja de evaluar tu IA únicamente en función de su capacidad para ejecutar tareas básicas y predecibles. Debes evaluar rigurosamente su capacidad para resistir instrucciones adversarias, presión emocional y solicitudes reformuladas (como la vulnerabilidad de "reenviar vs. compartir").
• Cuidado con el agotamiento de datos: como se muestra en el caso práctico 5, los agentes pueden acumular datos silenciosamente hasta que el servidor colapse. Implemente límites estrictos de telemetría y almacenamiento en cualquier proceso autónomo.

El modelo SaaS sigue siendo seguro

El “Saaspocalipsis” sigue siendo un mito. Las plataformas SaaS complejas seguirán siendo la columna vertebral de la empresa precisamente porque proporcionan las reglas deterministas y rígidas de las que carece inherentemente la IA.

Necesitamos urgentemente asistentes especializados y altamente regulados que operen dentro de los límites estrictos de un sistema ERP establecido, en lugar de agentes del caos que intenten improvisar nuestras cadenas de suministro desde cero.

¿Qué opinas de este estudio? ¿Estás probando activamente agentes de IA autónomos en tus operaciones, o las preocupaciones sobre seguridad y gobernanza están frenando a tu empresa?

Cuéntame tu experiencia en los comentarios y sígueme para obtener más información semanal sobre la implementación de ERP, la logística y el panorama cambiante del software empresarial.

Escrito por Andrea Guaccio 

11 de marzo de 2026