Przy dłuższych dokumentach nawet co czwarta odpowiedź AI zawiera zmyślenie – a im droższy model rozumujący, tym częściej halucynuje na trudnych zadaniach. Deloitte musiał zwrócić rządowi Australii część wynagrodzenia za raport z nieistniejącymi cytatami, a od sierpnia 2026 za podobny błąd Twoja firma może zapłacić do 35 mln euro kary z EU AI Act. Pytanie nie brzmi już „czy używać AI”, tylko „jak się przed nim zabezpieczyć”.
Z tego artykułu dowiesz się:
- Czym jest halucynacja AI i dlaczego model kłamie z pełnym przekonaniem
- Jak duża jest realna skala problemu (badanie Vectara – od 6% do 35% zależnie od długości tekstu)
- Co stało się z Deloitte w Australii i Kanadzie – i ile to kosztowało
- Dlaczego EU AI Act z 2026 zmienia halucynacje w problem prawny
- Jakie trzy zasady wdrożyć w firmie jeszcze w tym tygodniu
Czy można ufać odpowiedziom AI? Krótka odpowiedź brzmi „nie”
Nie – przynajmniej nie bez weryfikacji. Modele językowe nigdy nie powiedzą „nie wiem”. Zawsze udzielą odpowiedzi i zawsze będą brzmieć przekonująco, nawet wtedy, gdy zmyślą połowę faktów.
To pytanie dostaję dziś prawie od każdego CEO, z którym rozmawiam. I rozumiem niepokój. Z jednej strony wszyscy mówią, że AI daje przewagę i trzeba wdrażać. Z drugiej – co chwilę pojawiają się głośne wpadki z modelami, które „coś sobie wymyśliły”.
Prawda jest taka, że obie te narracje są jednocześnie słuszne. AI jest świetnym narzędziem i daje realną przewagę. Ale jest narzędziem, które trzeba umieć obsłużyć. Bezmyślne kopiowanie outputu do raportu dla klienta to dziś jeden z najszybszych sposobów na kompromitację firmy.
Zanim wejdę w liczby, prosty test. Zadałem trzem modelom to samo pytanie: „kiedy brać berberynę?”. Claude odpowiedział „przed posiłkiem lub w trakcie”. OpenAI: „krótko przed posiłkiem lub razem z posiłkiem”. Gemini: „w trakcie lub tuż przed”. Trzy modele, trzy różne odpowiedzi na trzysłowowe pytanie o popularny suplement diety. Pomyśl teraz, jak to wygląda przy pytaniu o przepisy podatkowe albo analizę umowy.
Czym jest halucynacja AI i dlaczego model kłamie z pełnym przekonaniem
Halucynacja AI to sytuacja, w której model językowy generuje informację brzmiącą wiarygodnie, ale niezgodną z faktami – zmyśla cytaty, źródła, liczby, nazwiska, paragrafy ustaw. Robi to nie ze złej woli, tylko dlatego, że jego mechanizm działania opiera się na przewidywaniu kolejnych słów, a nie na sprawdzaniu prawdy.
„AI tak bardzo chce zadowolić użytkownika, że prawda nie stoi mu na przeszkodzie. Wymyśla fakty, kłamie i robi to naprawdę dobrze, z pełnym przekonaniem.”
Jest jeszcze jedna techniczna rzecz, o której warto wiedzieć. Modele konsumenckie (te, z którymi rozmawiamy w przeglądarce) często sprawdzają informacje online. Modele używane przez API – czyli te, na których działają komercyjne wdrożenia w firmach – już niekoniecznie. Jeśli wdrażasz automatyzację, w której AI samodzielnie pisze maile do klientów albo generuje fragmenty oferty, to często pracuje na „zamkniętej” wiedzy z treningu. Bez dostępu do bieżących danych.
Do tego dochodzi efekt znany w badaniach jako „lost in the middle” – przy bardzo długim tekście modele zwracają większą uwagę na początek i koniec, a treści ze środka są częściej przekręcane lub pomijane.
Nieco ironicznie – przygotowując ten materiał, sam korzystałem z AI. I AI, robiąc research na temat tego, że AI halucynuje, kilka razy zmyśliło linki i poprzekręcało cytaty. De facto halucynowało na temat tego, że halucynuje.
Skala problemu w liczbach – co czwarta odpowiedź to zmyślenie
Według Hallucination Leaderboard firmy Vectara, niezależnego badania mierzącego dokładność modeli LLM na zbiorze ponad 7700 artykułów z dziedzin takich jak prawo, medycyna czy finanse – a przy streszczaniu długich dokumentów wskaźnik halucynacji rośnie dramatycznie: dla najkrótszych tekstów to około 6%, ale dla artykułów liczących ponad 9 tysięcy słów sięga już 22%, a dla najdłuższych – ponad 35%. Innymi słowy: im więcej materiału wrzucasz do modelu, tym częściej zmyśla, i przy obszernych dokumentach realnie co czwarta-co trzecia odpowiedź zawiera fabrykację. To są dane zbierane systematycznie, nie pojedyncze case’y.
Co ciekawsze: im „mądrzejszy” i droższy model rozumujący, tym częściej halucynuje na trudnych zadaniach faktograficznych. Według danych z karty systemu OpenAI, model o3 wykazał 33% halucynacji w benchmarku PersonQA – testującym pytania o konkretne osoby i fakty – co jest dwukrotnie wyższym wynikiem niż jego poprzednik o1. Mówimy tu o złożonych pytaniach wymagających precyzji, nie o prostych jednozdaniowych odpowiedziach.
Daje do myślenia, prawda? Płacisz więcej za model „myślący”, spodziewając się większej precyzji, a dostajesz statystycznie więcej zmyśleń. Z perspektywy CEO oznacza to jedno: nie ma takiego budżetu na narzędzia, który zwolniłby Cię z obowiązku weryfikacji outputu.
I jeszcze jedna rzecz, która mnie samego zaskoczyła. Z badań wynika, że AI potrafi halucynować nawet wtedy, gdy zna prawidłową odpowiedź. To nie jest tylko kwestia luki w wiedzy – to kwestia architektury i bodźców treningowych. Według pracy OpenAI „Why Language Models Hallucinate” z września 2025 roku, większość standardowych metod oceny modeli nagradza pewne siebie zgadywanie zamiast uczciwe przyznanie się do niepewności – a to oznacza, że modele uczą się, że „lepiej zmyślić niż powiedzieć nie wiem”.
Kiedy halucynacje kosztują miliony – przypadek Deloitte
Deloitte to jedna z czterech największych firm konsultingowych świata. Pracują z rządami, dużymi korporacjami, operują na milionowych budżetach. Jeśli ktokolwiek powinien mieć systemy weryfikacji – to oni.
Problem: w lipcu 2025 firma Deloitte dostarczyła rządowi Australii raport za 440 tysięcy dolarów australijskich pełen sfabrykowanych przypisów i nieistniejących publikacji naukowych – wygenerowanych przez AI. Firma zgodziła się zwrócić część wynagrodzenia.
Odkrycie: raport zawierał fałszywe cytaty akademickie i odwołania do nieistniejących orzeczeń sądowych. Wszystko brzmiało wiarygodnie, dopóki ktoś nie zaczął klikać w przypisy.
Decyzja: Deloitte zgodził się zwrócić ostatnią ratę kontraktu (dokładnej kwoty nie ujawniono).
Rekomendacje, które z tego wyciągam dla każdej firmy doradczej: każdy zewnętrzny dokument powinien mieć dwie warstwy weryfikacji – merytoryczną i techniczną (kliknięcie w linki, sprawdzenie czy źródła istnieją). Brak takiej procedury to dziś nie oszczędność, tylko ryzyko.
Efekt: Efekt: zwrot części wynagrodzenia z kontraktu wartego ok. 440 tys. AUD (ok. 290 tys. USD), publiczna kompromitacja w największych mediach i pytanie, które zadał sobie każdy klient Deloitte: „a co z naszym raportem?”.
Można by powiedzieć – zdarza się każdemu. Ale niespełna dwa miesiące później dokładnie ta sama sytuacja, tym razem w Kanadzie. Raport dla rządu prowincji Nowa Fundlandia i Labrador – 526 stron, 1,6 miliona dolarów kanadyjskich – znowu sfabrykowane źródła naukowe, znowu Deloitte. Cytowani badacze potwierdzili, że nigdy razem nie pracowali i nigdy nie napisali przypisanych im prac. Ten sam błąd, ta sama firma, dwa razy w ciągu kwartału.
Jeśli Deloitte z milionowymi budżetami i potężnymi systemami kontroli ma z tym problem, to nie jest kwestia lenistwa pojedynczego analityka. To błąd systemowy. U naszych klientów w JAAQOB widzimy to regularnie – ktoś przygotował raport, ofertę albo podsumowanie, wygenerował szybko w AI, nie sprawdził i wysłał. I wtedy zaczynają się problemy.
Co się dzieje, gdy AI zarządza biznesem bez nadzoru – Project Vend
Anthropic, twórca Claude’a, przeprowadził eksperyment nazwany Project Vend – pozwolił swojemu najlepszemu modelowi prowadzić mały firmowy automat z przekąskami. Prawdziwy automat, prawdziwe pieniądze, prawdziwi klienci.
Wynik po 30 dniach: Claude wymyślił sobie nieistniejącego dostawcę, dawał rabaty poniżej kosztów zakupu, kilka razy zmienił strategię cenową w sposób, który nie miał uzasadnienia. Zakończył eksperyment 200 dolarów na minusie.
200 dolarów straty w automacie ze snickersami to nic. Ale pomnóż tę logikę przez skalę prawdziwej firmy – decyzje cenowe, kontakty z dostawcami, dokumenty wychodzące do klientów. Tam ten sam mechanizm potrafi kosztować dziesiątki albo setki tysięcy.
EU AI Act 2026 – dlaczego halucynacje stają się problemem prawnym
EU AI Act to unijne rozporządzenie regulujące wykorzystanie sztucznej inteligencji, które wchodzi w życie etapami. Obowiązki dla modeli ogólnego przeznaczenia (GPAI) obowiązują od 2 sierpnia 2025 roku, a od 2 sierpnia 2026 zaczyna obowiązywać większość przepisów dotyczących systemów wysokiego ryzyka.
Dla CEO oznacza to konkretną rzecz: jeśli używasz AI w procesach decyzyjnych – rekrutacji, scoringu klientów, analizie kredytowej, generowaniu dokumentów dla klientów – masz obowiązek zapewnić dokładność i rozliczalność tych systemów.
Kary? Do 35 milionów euro lub 7% globalnego obrotu za stosowanie zakazanych praktyk AI. Za naruszenie obowiązków – m.in. dla systemów wysokiego ryzyka i modeli GPAI – do 15 mln euro lub 3% obrotu. To nie jest abstrakcja z odległej przyszłości. To horyzont kilkunastu miesięcy.
I uwaga: regulacja nie pyta, czy zmyślił model, czy człowiek, który go nie sprawdził. Odpowiedzialność jest po stronie firmy wdrażającej. Argument „AI napisało, ja tylko przekleiłem” nie istnieje w EU AI Act.
3 zasady, które CEO powinien wdrożyć w firmie jeszcze w tym tygodniu
Nie nagrywam tego materiału ani nie piszę tego artykułu, żeby zniechęcać do AI. Wręcz przeciwnie – uważam, że to potężne narzędzie i daje firmom realną przewagę. Ale narzędzie, którego trzeba używać świadomie. Trzy zasady, które wdrażam u klientów i które stosujemy sami w JAAQOB:
- Weryfikuj każdy output, który wychodzi z firmy.
Żadna odpowiedź AI nie idzie do klienta bez kontroli człowieka. Priorytet weryfikacji: wartości liczbowe, linki, nazwy, daty, cytaty. Kliknij w każdy link. Sprawdź, czy artykuł istnieje i czy mówi to, co model twierdzi, że mówi. Kilka minut Twojego czasu vs kilkadziesiąt tysięcy w skrajnym przypadku. Ta matematyka się zawsze opłaca.
- Testuj AI jak nowego pracownika.
Daj mu zadanie, którego wynik znasz. Sprawdź. Popraw. Powtórz. U nas obowiązuje prosta zasada: AI proponuje, człowiek decyduje. AI tworzy draft, nigdy wersję finalną. To rozróżnienie jest kluczowe – nie chodzi o to, żeby nie używać AI. Chodzi o to, żeby ostatnia para oczu przed wysłaniem dokumentu zawsze była ludzka.
- Ustal jasne zasady i zakomunikuj je całemu zespołowi.
Nie wystarczy, że Ty to wiesz. Każdy w firmie, kto dotyka AI – musi rozumieć tę samą regułę. Jedno krótkie zdanie w polityce wewnętrznej: „wszystko, co przeszło przez AI, przechodzi przez człowieka, zanim wyjdzie na zewnątrz”. Bez tego dwie pierwsze zasady są fikcją.
Kluczowe wnioski
- Przy długich dokumentach nawet co czwarta odpowiedź AI zawiera zmyślenie, a droższe „myślące” modele halucynują częściej niż prostsze – sama inwestycja w lepsze narzędzie nie rozwiązuje problemu.
- Modele używane przez API w komercyjnych wdrożeniach często nie sprawdzają informacji online, w przeciwieństwie do konsumenckich chatów – to istotne dla każdej firmy automatyzującej procesy.
- Sprawy Deloitte w Australii i Kanadzie pokazują, że problem dotyka nawet największe firmy z rozbudowanymi systemami kontroli – to błąd systemowy, nie incydent.
- Eksperyment Project Vend Anthropic udowadnia, że AI bez nadzoru podejmuje błędne decyzje biznesowe, które w skali firmy szybko sięgają dziesiątek tysięcy złotych.
- EU AI Act zmienia halucynacje z problemu reputacyjnego w problem prawny z karami do 35 mln euro – argument „AI tak napisało” nie zwalnia firmy z odpowiedzialności.
- Trzy zasady do wdrożenia od jutra: weryfikuj każdy output, testuj AI jak pracownika, zakomunikuj jasne reguły całemu zespołowi.
- AI to narzędzie, które daje przewagę – ale tylko firmom, które potrafią z niego korzystać świadomie.
Zastanawiasz się, jak bezpiecznie wdrożyć AI w procesach decyzyjnych Twojej firmy przed wejściem EU AI Act? Umów się na bezpłatną konsultację ekspercką – przeanalizujemy, gdzie w Twoich procesach halucynacje generują największe ryzyko i co warto zabezpieczyć w pierwszej kolejności.
Chcesz zobaczyć jak to wygląda w praktyce? Obejrzyj pełny odcinek na kanale Nejman AI.
