A GPTZero kutatócsoport és a Financial Times megállapította, hogy a UBS bankban, a brit NHS egészségügyi szolgálatnál, valamint London és Svájc közlekedési rendszereiben említett AI-esettanulmányok a mesterséges intelligencia szüleményei voltak. Az érintett szervezetek képviselői már cáfolták az elemzők állításait, félrevezetőnek nevezve azokat.

Ez az incidens folytatta a tanácsadó óriások kudarcainak sorozatát: egy hónappal ezelőtt az Ernst&Young is visszavonta kutatását a hamis lábjegyzetek és egyéb, AI-hallucinációk miatt elkövetett hibák miatt.

Az „AI-hallucináció” jelensége akkor lép fel, amikor a nyelvi modellek magabiztosan állítanak tényként olyan információkat, amelyek valójában nem léteznek vagy helytelenek. A nagy tanácsadó cégeknél ez különösen kínos, hiszen hitelességük alapja a pontos adatkezelés.

A sors iróniája, hogy ezek a cégek jelenleg aktívan árulják szolgáltatásaikat az AI felelős bevezetésére és az ügyfelek védelmére a rendszerhibákkal szemben.

Az eset rávilágít arra a kockázatra, amikor a hatékonyság növelése érdekében túlzottan automatizálják az ellenőrzési folyamatokat, ami végül a minőség romlásához és bizalomvesztéshez vezet.