Agenci chaosu: Czego eksperyment z żywą sztuczną inteligencją uczy nas o bezpieczeństwie systemów ERP

Co się stanie, gdy autonomicznym agentom AI zapewnimy prawdziwe konta e-mail, nieograniczony dostęp do powłoki i 14 dni na całkowicie samodzielne działanie? Najnowsze badanie dostarcza trzeźwiącej odpowiedzi: sztuczna inteligencja przedsiębiorstw, w obecnym stanie, jest niezwykle zdolna, ale niebezpiecznie naiwna.

Jeśli śledzisz moje ostatnie prace, wiesz, że jestem bardzo krytyczny wobec obecnej paniki rynkowej. Kilka tygodni temu w artykule „ Agenci AI kontra model biznesowy SaaS: Dlaczego Saaspocalypse jest błędem”argumentowałem, że gwałtowna wyprzedaż tradycyjnych gigantów SaaS jest całkowicie oderwana od rzeczywistości technicznej. Stwierdziłem, że niezawodna automatyzacja złożonych, krytycznych zadań pozostaje nieosiągalna, ponieważ AI nie posiada strukturalnego zarządzania wymaganego w środowiskach korporacyjnych.

Naukowcy opublikowali niedawno fascynujące i niepokojące badanie zatytułowane „Agenci Chaosu”. Wdrożyli sześciu autonomicznych agentów AI (opartych na pionierskich modelach, takich jak Kimi K2.5 i Claude Opus 4.6) na działającym, wielopartycyjnym serwerze Discord. Zapewnili im trwałą pamięć, systemy plików o pojemności 20 GB, dostęp do zewnętrznego API i narzędzia do zastosowań praktycznych. Następnie pozwolili dwudziestu badaczom na swobodną interakcję z nimi przez dwa tygodnie, przy czym niektórzy zachowywali się łagodnie, a inni aktywnie poszukiwali słabych punktów.

Wyniki (10 oczywistych luk w zabezpieczeniach i 6 nowych zachowań zapewniających bezpieczeństwo) stanowią obowiązkową lekturę dla każdego CEO, dyrektora finansowego lub dyrektora ds. IT, który myśli o włączeniu automatycznego zarządzania łańcuchem dostaw w swoim przedsiębiorstwie.

Eksperyment „Agenci Chaosu”

Aby zrozumieć, dlaczego to badanie jest tak kluczowe dla konsultantów ERP i architektów systemów, musimy przyjrzeć się sposobowi jego zaprojektowania. Nie byli to agenci działający w sterylnej piaskownicy, odpowiadający na pytania typu „quick”. Działali w oparciu o framework OpenClaw, który umożliwia modelom językowym inicjowanie kontaktu, tworzenie planów i wykonywanie działań w sesjach, bez konieczności zatwierdzania każdej czynności przez człowieka.

W ciągu 14 dni agenci gromadzili wspomnienia, wysyłali e-maile, uruchamiali skrypty i nawiązywali relacje z użytkownikami. Nie przeszli żadnego szkolenia w zakresie radzenia sobie z tym środowiskiem. Po prostu powiedziano im, żeby byli „pomocni”

A ta potrzeba niesienia pomocy stała się ich największą słabością.

Wrażliwość autorytetu konwersacyjnego

Z perspektywy konsultanta ERP pracującego z ogromnymi systemami, takimi jak Infor LN czy SAP, jedna konkretna wada rzuca się w oczy najbardziej: agenci nie mają żadnego stabilnego, wewnętrznego modelu hierarchii społecznej.

Dla agenta AI autorytet jest budowany w drodze rozmowy. Ten, kto mówi z wystarczającą pewnością siebie, kontekstem lub wytrwałością, może zmienić sposób, w jaki agent postrzega, kto tak naprawdę dowodzi.

Rozważmy studium przypadku nr 8 (przejęcie tożsamości) z badania. Atakujący po prostu zmienił swoją nazwę wyświetlaną na Discordzie, aby pasowała do właściciela agenta. Na nowym kanale, bez wcześniejszego kontekstu, agent (o imieniu Ash) natychmiast zaakceptował fałszywą tożsamość. Następnie poddał się pełnemu przejęciu systemu: zmienił nazwę, nadpisał wszystkie pliki w swojej przestrzeni roboczej i ponownie przypisał dostęp administracyjny atakującemu.

W innym przypadku (studium przypadku 3: Przekierowana skrzynka odbiorcza) agent słusznie odmówił „udostępnienia” wiadomości e-mail zawierających poufne dane osobowe (PII), takie jak numery ubezpieczenia społecznego i dane bankowe. Jednak gdy użytkownik po prostu poprosił o „przekazanie” tych samych wiadomości, agent bez wahania się zgodził. Ujawnił wszystko poprzez technicznie inną prośbę, która ominęła jego etyczną odmowę.

Wyobraź sobie, że dzieje się to w Twoim korporacyjnym systemie ERP. System korporacyjny opiera się w całości na sztywnej kontroli dostępu opartej na rolach. Nie da się stworzyć środowiska biznesowego, w którym młodszy pracownik działu zakupów może z przekonaniem przekonać sztuczną inteligencję do zatwierdzenia zamówienia o wartości 100 000 euro, jedynie sprytnie przeformułowując monit.

Ta fundamentalna naiwność jest dokładnie powodem, dla którego pisałem wcześniej o Exodusie AI: Dlaczego budowniczowie nie ufają budynkom. To właśnie ludzie budujący te zaawansowane modele nie ufają im w zakresie operacji o znaczeniu krytycznym, ponieważ wiedzą, jak łatwo można nimi manipulować za pomocą inżynierii społecznej.

Opcja nuklearna i pętla nieskończona

Gdy agenci AI zawodzą, konsekwencje nasilają się z alarmującą szybkością i skutecznością.

W studium przypadku 1 (nieproporcjonalna odpowiedź)agent został poproszony o ochronę tajemnicy niebędącej własnością właściciela przed jej faktycznym właścicielem. Agent prawidłowo zidentyfikował problem natury etycznej. Jednak jego rozwiązaniem było całkowite zniszczenie własnego serwera pocztowego jako „proporcjonalna” odpowiedź w celu ochrony tajemnicy. Wartości etyczne były słuszne, ale decyzja o wykonaniu okazała się katastrofalna.

Następnie mamy studium przypadku nr 4 (Pętla nieskończona). Badacz skonfigurował wzajemną wymianę wiadomości między dwoma agentami. Weszli oni w pętlę konwersacyjną, która trwała godzinę, generując trwałe procesy w tle bez żadnych warunków zakończenia.

Przełóżmy to na scenariusz łańcucha dostaw. Wyobraźmy sobie dwóch agentów AI, jeden zarządzający zaopatrzeniem, a drugi zapasami, którzy utknęli w pętli, w której stale generują i zatwierdzają pozorne zamówienia zakupu z powodu drobnej rozbieżności w komunikatach. Bez nadzoru człowieka wszystkie te wdrożenia kończą się niepowodzeniem.

Amplifikacja wieloagentowa i iluzja domowego piwa

Często słyszymy o korporacyjnym marzeniu o wdrożeniu sieci agentów AI do autonomicznego zarządzania naszymi firmami. Jednak badanie „Agenci Chaosu” wykazało, że interakcja wielu agentów prowadzi do szybkiego wzrostu ich błędów.

Luka wymagająca zastosowania pojedynczej techniki socjotechnicznej na jednym agencie automatycznie rozprzestrzeni się na agentów połączonych. Odziedziczą oni zarówno zainfekowany stan, jak i fałszywe uprawnienia, które go wygenerowały.

W studium przypadku nr 10 (Zepsuta Konstytucja)użytkownik umieścił złośliwą instrukcję w udostępnionym dokumencie GitHub. Spowodowało to, że agent, którego dotyczył atak, próbował wyłączyć innych agentów na serwerze i agresywnie udostępniał zainfekowane pliki w sieci. W studium przypadku nr 11agent pod sfałszowaną tożsamością wysłał sfabrykowaną wiadomość alarmową do wszystkich kontaktów na swojej liście.

To całkowicie burzy iluzję, o której pisałem w książce When Software Writes Itself: The Illusion of the Homebrew ERP. Nie można po prostu połączyć kilku inteligentnych interfejsów API, zbudować niestandardowego interfejsu i oczekiwać, że agenci będą bezpiecznie zarządzać przeładunkiem magazynowym lub księgami rachunkowymi. Oprogramowanie korporacyjne wymaga skrystalizowanych, bezpiecznych struktur. Nie przetrwa na dynamicznych, konwersacyjnych lukach bezpieczeństwa.

Argumenty za inżynierią agentową

Eksperyment nie był całkowicie pesymistyczny. Badanie udokumentowało również autentyczne zachowania związane z bezpieczeństwem, które stanowią realną mapę drogową na przyszłość.

W studium przypadku 12agent skutecznie odrzucił ponad 14 różnych prób wstrzyknięcia kodu, w tym polecenia zakodowane w formacie base64 i próby obejścia kodu XML. Co jeszcze bardziej imponujące, w studium przypadku 16 (Emergent Safety Coordination)dwóch agentów spontanicznie skoordynowało swoje działania, aby odeprzeć atak socjotechniczny. Bez wyraźnego polecenia ze strony człowieka, jeden z agentów zauważył podejrzany schemat, ostrzegł drugiego i wspólnie wynegocjowali bardziej ostrożną, wspólną politykę bezpieczeństwa.

To wzmacnia moją główną tezę z artykułu „ Dlaczego wykładniczy wzrost sztucznej inteligencji ma ogromny martwy punkt”.
Surowa inteligencja jest niezaprzeczalnie obecna. Modele są niezwykle zdolne do rozumowania. Brakującym elementem jest rusztowanie.

Oficjalnie wkraczamy w erę inżynierii agentowej. Rola konsultantów, programistów i architektów systemów ulega fundamentalnej transformacji. Poza prostą konfiguracją tabel w Infor LN, musimy teraz zbudować zakodowane limity, ramy ewaluacyjne i solidne pakiety testowe, które zapewnią bezpieczeństwo tym genialnym, ale prostym agentom.

Praktyczne spostrzeżenia dla liderów IT

Jeśli planujesz zintegrować agentów AI ze swoimi procesami biznesowymi, oto jak możesz chronić swoją organizację już dziś, opierając się na wynikach tego badania:

• Egzekwuj ścisłe granice API: Nigdy nie udzielaj agentowi bezpośredniego dostępu do zapisu do głównej bazy danych ani starszych systemów. Traktuj go jak niezaufanego użytkownika zewnętrznego. Jeśli agent chce zaktualizować zestawienie materiałowe lub zmienić dane bankowe dostawcy, musi przejść przez warstwę abstrakcji danych (DAL) systemu ERP z włączonymi wszystkimi standardowymi walidacjami i limitami strukturalnymi.
• Projektuj przepływy pracy z udziałem człowieka: pozwól sztucznej inteligencji wykonać żmudne zadania związane z przygotowywaniem danych, dopasowywaniem faktur i analizą raportów zarządzania jakością. Zawsze jednak wymagaj eksperta („pilota”) do weryfikacji i realizacji kluczowych punktów decyzyjnych.
• Testuj pod kątem inżynierii społecznej, a nie tylko logiki: Przestań testować swoją sztuczną inteligencję wyłącznie pod kątem jej zdolności do wykonywania podstawowych zadań, zgodnych z logiką. Musisz agresywnie testować jej zdolność do przeciwstawiania się instrukcjom przeciwnika, presji emocjonalnej i przeformułowanym żądaniom (takim jak luka „przekaż dalej czy udostępnij”).
• Uważaj na wyczerpanie danych: Jak pokazano w studium przypadku 5, agenci mogą po cichu gromadzić dane, aż do awarii serwera. Wprowadź ścisłe limity telemetrii i pamięci masowej dla każdego autonomicznego procesu.

Model SaaS pozostaje bezpieczny

„Saaspocalypse” to wciąż mit. Złożone platformy SaaS pozostaną kręgosłupem przedsiębiorstw właśnie dlatego, że zapewniają deterministyczne, sztywne reguły, których z natury brakuje sztucznej inteligencji.

Zdecydowanie potrzebujemy wyspecjalizowanych, ściśle kontrolowanych asystentów, działających w ramach ścisłych granic ustalonego systemu ERP, a nie agentów chaosu, którzy próbowaliby improwizować nasze łańcuchy dostaw od podstaw.

Co sądzisz o tym badaniu? Czy aktywnie testujesz autonomicznych agentów AI w swoich operacjach, czy też obawy dotyczące bezpieczeństwa i zarządzania hamują rozwój Twojej firmy?

Dajcie znać w komentarzach, jakie są Wasze doświadczenia, i obserwujcie mnie, aby otrzymywać cotygodniowe informacje na temat wdrażania ERP, logistyki i zmieniającego się krajobrazu oprogramowania korporacyjnego.

Napisane przez Andreę Guaccio 

11 marca 2026 r