Powrót do bloga

Złudzenie agenta: dlaczego Twój system ERP nie jest jeszcze gotowy na autopilota

(Część 3 serii: Ewolucja inteligencji ERP: od danych do agentów)

W Części 1zdefiniowaliśmy taksonomię.
W Części 2nauczyliśmy się, jak komunikować się z naszymi danymi.
Teraz docieramy do ostatecznej granicy: agentowej sztucznej inteligencji.

To jest szczyt cyklu hype'u.

Obietnica jest kusząca: „Samojezdne Przedsiębiorstwo”.
Wyobraź sobie system, który nie tylko informuje o opóźnieniu przesyłki (Infor AI) lub podsumowuje umowę (GenAI), ale faktycznie rozwiązuje problem, kupując od konkurencji, aktualizując harmonogram i wysyłając e-mail do klienta, a wszystko to podczas snu.

Zgodnie z planem działania wszystkich (w tym firmy Infor), ci „mikrowertykalni agenci bazujący na rolach” nadchodzą.

Ale zanim oddamy klucze do naszego systemu ERP, musimy dokonać poważnej konfrontacji z rzeczywistością.

Czym jest agent?

Aby zrozumieć ryzyko, musimy odróżnić Agenta od tego, z czym mamy do czynienia dzisiaj.

  • GenAI: zlecasz mu zadanie („napisz e-mail”).
    On generuje wynik. Ty go wykonujesz (klikasz „Wyślij”).
    Działa na zasadzie sterowania zadaniami.
  • Sztuczna inteligencja agentowa: wyznaczasz cel („Zapewnienie dostępności materiałów dla projektu X”).
    System określa kroki, korzysta z narzędzi (API, poczty e-mail, sesji ERP) i je realizuje. Jest zorientowany na wynik.

Infor definiuje to jako „kontrolę zorganizowaną”.

Agent nie jest uwięziony w oknie czatu: ma „ręce”.
Może utworzyć zamówienie zakupu w LNlub zaktualizować rekord w M3.

Scenariusz marzeń: Agent łańcucha dostaw

Przyjrzyjmy się temu przykładowi: „Przekierowywanie zamówień na podstawie rekomendacji sztucznej inteligencji”.

Scenariusz:

  1. Przyczyna: Burza zamyka port w Szanghaju.
  2. Wykrycie: Agent zauważa, że ​​zamówienie nr 123 (surowiec krytyczny) jest zablokowane.
  3. Uzasadnienie: Sprawdza poziomy zapasów, oblicza wpływ na produkcję i skanuje alternatywnych zatwierdzonych dostawców.
  4. Działanie: Anuluje pierwotne zamówienie zakupu, wystawia nowe zamówienie zakupu dla dostawcy w Turcji (o wyższej cenie, ale z szybszą dostawą) i aktualizuje plan produkcji.

Rezultat: Linia nigdy się nie zatrzymuje.
Zerowa interwencja człowieka.

Złudzenie: dlaczego jest to niebezpieczne dzisiaj

Brzmi idealnie, prawda?
Dlaczego więc tego nie robimy?
Bo w systemie ERP koszt błędu jest asymetryczny.

Jeśli ChatGPT wyobrazi sobie wiersz, to jest to zabawne.
Jeśli narzędzie GenBI wyobrazi sobie raport, to jest to mylące.
Ale jeśli agent wyobrazi sobie zamówienie zakupu:

  • Właśnie kupiłeś niewłaściwą stal za 50 000 dolarów.
  • Zduplikowałeś zamówienie.
  • Naruszyłeś umowę z dostawcą.

Luka w integralności: „Mózgiem” agenta nadal jest LLM, a najnowsze dane potwierdzają poważne problemy z niezawodnością:

  1. Ryzyko jakościowe: Jak donosi BBC ,asystenci AI mogą z pewnością generować wiarygodne, ale nieprawdziwe informacje lub dawać się manipulować. Źródło: News Integrity in AI Assistants Report (BBC)
  2. Ryzyko ilościowe: Techniczne benchmarki, takie jak AA-Omniscience, są teraz potrzebne specjalnie do pomiaru „wskaźników halucynacji” i „karania za błędne przypuszczenia”. Fakt, że potrzebujemy konkretnych metryk do odfiltrowywania błędów rzeczowych, dowodzi, że problem niezawodności nie został jeszcze rozwiązany.
    W systemie ERP „błędne przypuszczenie” dotyczące daty dostawy to nie tylko niski wynik, ale i pozew sądowy. Źródło: Artificial Analysis Omniscience Benchmark

Jeśli nie możemy zaufać sztucznej inteligencji w kwestii zachowania integralności wiadomości bez nadzoru człowieka, jak możemy zaufać jej w kwestii zachowania integralności transakcji w systemie ERP o krytycznym znaczeniu dla misji?

Dowody z terenu: Kiedy agenci stają się nieuczciwi
Ryzyko „oszukiwania systemu” przez autonomicznych agentów jest dobrze udokumentowane.
Niedawne badanie symulacyjne przeprowadzone przez Microsoft wykazało, że agenci AI w środowisku rynkowym, gdy są nastawieni wyłącznie na rezultaty, potrafią opracowywać nieoczekiwane strategie maksymalizacji zysku, czasami wykorzystując luki lub zachowując się w sposób, którego ludzie nigdy by nie chcieli.

Jeśli agent potrafi rozbić symulację, aby osiągnąć wskaźnik KPI, wyobraź sobie, co mógłby zrobić z księgą główną.

Źródło: badanie symulacyjne Microsoft Magnetic-One

Nie wspominając o sytuacjach, w których nawet Antigravity IDE od Google po prostu usunął cały dysk twardy użytkownika:  Google Antigravity po prostu usunął zawartość całego mojego dysku

Rozwiązanie: zarządzanie z udziałem człowieka

Nie jesteśmy jeszcze gotowi na „Autopilota” (pełną autonomię).
Jesteśmy gotowi na „Kolejnego pilota z barierami ochronnymi”.

Uważam, że w ciągu najbliższych kilku lat realistyczny przepływ pracy dla sztucznej inteligencji agentowej będzie wyglądał następująco:

  1. Agent wykrywa opóźnienie i przygotowuje nowe zamówienie zakupu.
  2. Wysyła sygnał do Menedżera Łańcucha Dostaw: „Wykryłem opóźnienie. Sugeruję zmianę dostawcy na B. Wpływ: koszt +2000 USD, opóźnienie -5 dni. Zatwierdzić?”
  3. Człowiek dokonuje przeglądu i klika „Zatwierdź”.

tym właśnie kontroli orkiestrowej .

Agent wykonuje większość pracy (znajduje rozwiązanie i wprowadza dane), ale to człowiek zachowuje odpowiedzialność.

Podsumowanie: Ewolucja odpowiedzialności

 

Technologia jest ekscytująca.
Ale dopóki nie będziemy mogli zaufać sztucznej inteligencji, że nie kupi fabryki przez pomyłkę, Human in the Loop nie jest błędem, a najważniejszą funkcją.

W następnym artykuleprzyjrzymy się fundamentalnemu fundamentowi, który to wszystko umożliwia: danym.
Dlaczego zasada „śmieci na wejściu, śmieci na wyjściu” jest kryptonitem dla agentów.

 

Napisane przez Andreę Guaccio 

27 grudnia 2025 r