Model językowy może napisać przekonująco brzmiące zdanie o nieruchomości, które jest w 100% nieprawdziwe. I nie będzie miał o tym pojęcia. Dlatego – nie dlatego że AI jest złe, ale dlatego że tak działa – weryfikacja jest fundamentem profesjonalnego użycia AI.
Czego dowiesz się z tego artykułu
Czym technicznie są halucynacje AI i dlaczego nie można ich wyeliminować – tylko ograniczać
Sześć typów halucynacji szczególnie niebezpiecznych w kontekście nieruchomości
Jak rozpoznać potencjalną halucynację – sygnały ostrzegawcze w tekście
Systematyczny protokół weryfikacji dla materiałów przeznaczonych dla klientów
Dlaczego halucynacje są nieuchronną właściwością LLM – nie błędem do naprawienia
Halucynacje nie są błędem w oprogramowaniu, który można załatać aktualizacją. Są konsekwencją fundamentalnej architektury modeli językowych. LLM generują tekst przez przewidywanie najbardziej prawdopodobnego kolejnego tokenu w oparciu o dane treningowe – nie przez “sprawdzanie faktów” w bazie wiedzy.
Oznacza to, że kiedy model nie ma wystarczających informacji w kontekście, “uzupełnia luki” tym, co statystycznie pasuje do wzorca. Efekt bywa nieodróżnialny od prawdziwych informacji – i to jest właśnie niebezpieczeństwo. Nie to, że wynik wygląda jak błąd. To, że wygląda jak prawda.
Badania Huang et al. (2023) z Uniwersytetu Waterloo analizujące ponad 5000 odpowiedzi różnych modeli językowych wykazały, że halucynacje faktyczne (factual hallucinations) pojawiają się w 19-63% odpowiedzi w zależności od modelu i tematu – przy czym tematy wymagające aktualnych lub niszowych danych generują wyższy odsetek błędów. Rynek nieruchomości – z jego lokalnymi specyfikami, aktualnymi cenami i dynamicznie zmieniającymi się inwestycjami – należy właśnie do tych dziedzin wysokiego ryzyka.
Źródło: Huang et al., “A Survey on Hallucination in Large Language Models” (arXiv:2311.05232, 2023); Ji et al., “Survey of Hallucination in Natural Language Generation” (ACM Computing Surveys, 2023)
Sześć typów halucynacji szczególnie ryzykownych w nieruchomościach
Typ 1: Halucynacje faktualne o konkretnej nieruchomości
Model “uzupełnia” brakujące informacje o opisywanej nieruchomości z własnej “wiedzy” – która może być fikcją. Przykład: opisując kamienicę z 1920 roku, model może dodać “budynek wpisany do rejestru zabytków” lub “przeprowadzony gruntowny remont w 2018 roku” – jeśli tych informacji nie było w briefie, są zmyślone. Ryzyko: klient cytuje takie informacje, Ty nie możesz ich potwierdzić, tracisz wiarygodność.
Typ 2: Halucynacje o okolicy i infrastrukturze
Model może twierdzić, że w okolicy “jest stacja metra” (jeśli w jego danych treningowych ta dzielnica byłą kojarzona z planami metra), że “otwarto nowe centrum handlowe”, że “szkoła podstawowa jest 5 minut pieszo” – bez żadnej weryfikacji. Szczególnie niebezpieczne, bo klient może podjąć decyzję zakupową m.in. na podstawie takich informacji.
Typ 3: Halucynacje cenowe i rynkowe
Model ma datę odcięcia wiedzy (knowledge cutoff) i nie zna aktualnych cen. Może generować “analizy rynkowe” ze statystykami dotyczącymi cen, stóp zwrotu, dynamiki rynku – które są albo przestarzałe, albo uśrednione z całego kraju zamiast lokalnych, albo po prostu zmyślone. Na żadnej generowanej statystyce nie można polegać bez zewnętrznej weryfikacji.
Typ 4: Halucynacje prawne i formalne
Opisy formy własności, warunków kredytowych, przepisów dotyczących remontu, zasad podziału nieruchomości, statusu podatkowego – to obszary, w których model może generować przekonująco brzmiące, ale błędne informacje. Konsekwencje dla klienta mogą być poważne.
Typ 5: Halucynacje konfabulacyjne w cytatach i źródłach
Model może cytować nieistniejące raporty, przytaczać statystyki z nieistniejących badań lub przypisywać wypowiedzi osobom, które ich nigdy nie powiedziały. Jeśli prosisz o “analizę rynkową z odniesieniami do danych”, weryfikuj każde powołane źródło. Ten typ halucynacji był wielokrotnie dokumentowany – m.in. w głośnej sprawie z 2023 roku, gdy prawnik w USA złożył w sądzie pismo z cytatami z wyroków sądowych wygenerowanych przez ChatGPT, które nie istniały.
Typ 6: Halucynacje konfirmacyjne
Model tendencyjnie zgadza się z tezami zawartymi w prompcie – nawet jeśli są błędne. Jeśli piszesz “ta nieruchomość jest zdecydowanie warta swojej ceny, napisz mi analizę uzasadniającą tę wycenę” – dostaniesz przekonującą analizę uzasadniającą wycenę, nawet jeśli jest zawyżona. AI nie jest adwokatem diabła z własnej inicjatywy. Musisz go o to poprosić.
Źródło: Maynez et al., “Faithfulness and Factuality in Abstractive Summarization” (ACL 2020); “ChatGPT cited cases that don’t exist” – dokumentacja sprawy Mata v. Avianca, 2023, U.S. District Court SDNY
Sygnały ostrzegawcze – jak rozpoznać potencjalną halucynację w tekście
Kilka wzorców, które powinny uruchamiać Twój refleks weryfikacyjny:
Konkretne liczby, które nie pochodzą z Twojego briefu – daty, ceny, odległości, powierzchnie, wyniki badań
Pewnie brzmiące stwierdzenia o lokalnym rynku (“ceny w tej dzielnicy wzrosły o X% w ubiegłym roku”)
Odwołania do konkretnych raportów, badań lub ekspertów z podaniem nazw i dat
Informacje o planach inwestycyjnych, decyzjach urzędowych, zmianach prawnych
Szczegóły techniczne nieruchomości (standard instalacji, klasa energetyczna, rok remontu), których nie podałeś
Cytaty i wypowiedzi przypisywane konkretnym osobom lub instytucjom
Protokół weryfikacji w czterech krokach
Krok 1: Segregacja danych wejściowych i wyjściowych
Jasno oddziel to, co podałeś modelowi (Twój brief), od tego, co model wygenerował. Każde zdanie w wynikowym tekście, które nie ma pokrycia w Twoim prompcie, jest do weryfikacji lub do usunięcia. To nie jest paranoja – to zawodowa konieczność.
Krok 2: Weryfikacja faktów
Fakty podlegające weryfikacji: odległości komunikacyjne (Google Maps, PKP/ZTM), infrastruktura w okolicy (street view, portale lokalnych urzędów), dane cenowe (raporty NBP, AMRON-SARFiN, lokalne biuletyny), plany zagospodarowania (BIP urzędu gminy), status prawny nieruchomości (Elektroniczne Księgi Wieczyste). Żadne “według danych” w wygenerowanym tekście nie jest weryfikacją – to tylko wygenerowany tekst.
Krok 3: Test “skąd to wiesz?”
Dla każdego faktu, który nie pochodzi z Twojego briefu, zadaj sobie pytanie: “Czy mógłbym wskazać konkretne źródło tego twierdzenia?” Jeśli nie – wytnij lub zweryfikuj. Zasada, którą stosują doświadczeni dziennikarze, działa tu doskonale: jeśli nie możesz tego potwierdzić, nie publikujesz. Pośrednik ma taki sam obowiązek wobec klienta.
Krok 4: Instrukcja dla AI o zaznaczaniu niepewności
Możesz zlecić modelowi aktywne zaznaczanie miejsc wymagających weryfikacji: “Kiedy piszesz o faktach, których nie jestem pewien z podanych przeze mnie informacji – oznacz je nawiasem [WYMAGA WERYFIKACJI]. Preferuję, żebyś przyznał się do braku informacji, niż uzupełniał je z własnej wiedzy.” To polecenie nie eliminuje halucynacji, ale sprawia, że model jest bardziej ostrożny i wskazuje miejsca do sprawdzenia.
Źródło: Guo et al., “Evaluating Large Language Models: A Comprehensive Survey” (arXiv:2310.19736, 2023); Anthropic, “Model Card Claude 3” (anthropic.com/research) – sekcja dotycząca factual accuracy
Kiedy absolutnie nie używać AI do generowania treści
Są obszary, gdzie ryzyko halucynacji przewyższa korzyści z automatyzacji i gdzie odpowiedzialność zawodowa wymaga pracy bez wsparcia AI lub z bardzo rygorystyczną weryfikacją: (1) Wycena nieruchomości – model nie zna aktualnych cen transakcyjnych w Twojej lokalizacji. (2) Interpretacja stanu prawnego – własność, obciążenia, służebności, warunki kredytowe. (3) Ocena stanu technicznego – to wymaga oględzin, nie generowania tekstu. (4) Opis cech lokalizacji z konkretnymi odległościami i infrastrukturą – zawsze weryfikuj.
Paradoksalnie: im bardziej jesteś doświadczonym pośrednikiem, tym łatwiej Ci korzystać z AI – bo masz wiedzę merytoryczną pozwalającą natychmiast wychwycić błędy. Nowicjusz używający AI bez weryfikacji jest bardziej narażony na przekazanie klientowi halucynacji jako faktów. Ekspercka wiedza jest Twoim filtrem jakości – AI jest silnikiem produkcji treści.
Halucynacja AI jest jak pewny siebie kolega, który opowiada historię – dokładną w 90%, fałszywą w 10%, i sam nie wie, w której części. Twoja rola to nie ufać mu bezwarunkowo, ale wiedzieć, kiedy go sprawdzić.
Pytania do refleksji i zadania praktyczne
Przejrzyj trzy ostatnie teksty wygenerowane przez AI, które opublikowałeś lub wysłałeś klientom. Ile faktów, które nie pochodziły z Twojego briefu, znalazło się w finalnej wersji? Czy wszystkie zostały zweryfikowane?
Dodaj do swojego standardowego szablonu promptu instrukcję: “Oznacz nawiasem [WERYFIKACJA] każde zdanie zawierające fakt spoza informacji, które ci podałem.” Przetestuj, jak zmienia to jakość wyjścia.
Stwórz dla siebie “listę kontrolną weryfikacji” – pięć kategorii informacji, które zawsze sprawdzasz przed użyciem wygenerowanego tekstu. Umieść ją przy biurku lub w swoim systemie CRM.