Jak AI wybiera źródła do cytowania i dlaczego część z nich nie istnieje

Model językowy nie wybiera źródeł w takim sensie, w jakim robi to wyszukiwarka. Jeśli nie ma podłączonej bazy bibliograficznej, generuje ciąg znaków najbardziej prawdopodobny w kontekście twojego pytania: nazwisko brzmiące jak nazwisko badacza z danej dziedziny, tytuł złożony z typowych dla niej słów, nazwę czasopisma, rok i numer DOI o poprawnej strukturze. Czasem taki ciąg pokrywa się z realną publikacją, bo ta powtarzała się w danych treningowych wystarczająco często. Czasem się nie pokrywa i wtedy dostajesz przypis, który wygląda bezbłędnie, a nie odsyła do niczego. Ten tekst jest o mechanizmie; jeśli szukasz samej procedury sprawdzania, zacznij od Czy AI zmyśla źródła? Jak sprawdzić cytowanie.

Model nie szuka, tylko przewiduje

Resnik i Hosseini opisują ten mechanizm od strony technicznej. Modele trenuje się na bilionach słów zamienianych na tokeny, a każdy token zostaje odwzorowany na wektor w wielowymiarowej przestrzeni osadzeń zbudowanej podczas treningu (s. 2). Odpowiedź powstaje przez przewidywanie kolejnych tokenów, nie przez odpytanie katalogu. Ci sami autorzy dorzucają w przypisie uwagę, która porządkuje myślenie o całym problemie: skoro model produkuje wyjście, przewidując sekwencje słów, to w pewnym sensie każde cytowanie od AI jest zmyślone, bo zostało wymyślone (s. 2). Część zmyślonych pokrywa się z rzeczywistością, część nie, i model nie odróżnia jednych od drugich.

Dlatego zawodzi intuicja „widać po odpowiedzi, kiedy model nie wie". Resnik i Hosseini zwracają uwagę, że modele nie podają wiarygodnej miary pewności swoich odpowiedzi, więc użytkownik końcowy nie ma jak stwierdzić, czy właśnie halucynują. Jedyny obecnie dostępny sposób rozstrzygnięcia polega na porównaniu odpowiedzi z faktami, czyli sprawdzeniu, czy podane cytowanie w ogóle istnieje (s. 2).

Farquhar i współautorzy, pracując nad wykrywaniem halucynacji metodą entropii semantycznej, wydzielają węższą kategorię nazywaną konfabulacjami: odpowiedzi jednocześnie błędne i arbitralne, czyli takie, które zmieniają się w zależności od nieistotnych szczegółów w rodzaju ziarna losowego (s. 625). Ich przykład dotyczy pytania medycznego, ale ten sam wzorzec widać przy bibliografii. Zapytaj dwa razy o literaturę do tego samego akapitu, a dostaniesz dwie różne listy. Prawdziwe źródło nie zmienia się między jednym pytaniem a drugim.

Dlaczego zmyślony przypis wygląda lepiej niż prawdziwy

Szeider opisuje fabrykacje jako wiarygodnie brzmiące, ale nieistniejące nazwiska autorów, nazwy miejsc publikacji i numery DOI (s. 2). To nie są losowe znaki. Model odtwarza wzorzec, którego widział miliony przykładów, więc wypełnia wszystkie pola tak, jak wypełnia je prawdziwy rekord bibliograficzny.

Najlepszą ilustracją jest przypadek opisany przez Alkaissiego i McFarlane'a. Poprosili ChatGPT o źródła do rzekomej osi „homocysteina — witamina K — osteokalcyna" w osteoporozie i dostali pięć pozycji z lat dwutysięcznych. Żaden z podanych tytułów nie istniał, a wszystkie identyfikatory PMID prowadziły do zupełnie innych prac (s. 2).

Przed (odpowiedź modelu): „Kallajoki M, et al. Homocysteine and bone metabolism. Osteoporos Int. 2002 Oct;13(10):822-7. PMID: 12352394".

Po (co naprawdę kryje się pod PMID 12352394): artykuł o zastosowaniu tytanowych zszywek w laparoskopowej chirurgii rekonstrukcyjnej górnych dróg moczowych, opublikowany w „Journal of Urology". Inna dziedzina, inni autorzy, inny tytuł.

Zwróć uwagę, czego tu brakuje. Nie ma literówki, dziwnego formatu, podejrzanie okrągłego numeru. Rocznik, numer zeszytu i zakres stron układają się dokładnie tak, jak układają się w prawdziwym czasopiśmie. Wzrokowa kontrola przypisu takiego błędu nie wykryje, bo ocenia poprawność zapisu, a nie zgodność metadanych z rzeczywistym rekordem.

Ile z tych źródeł faktycznie nie istnieje

Chelli i współautorzy przetestowali trzy modele na zadaniu wyszukiwania literatury do przeglądów systematycznych. Z 11 przeglądów w 4 dziedzinach powstały 33 zapytania i 471 przeanalizowanych referencji. Odsetek halucynacji wyniósł 39,6% dla GPT-3.5, 28,6% dla GPT-4 i 91,4% dla Barda, a precyzja odpowiednio 9,4%, 13,4% i 0% (s. 1). Autorzy formułują wniosek wprost. Przy takich wynikach nie zaleca się używania modeli językowych jako podstawowego ani wyłącznego narzędzia do przeglądów systematycznych (s. 1).

To dane sprzed kilku wersji modeli i traktuj je jako punkt odniesienia, nie jako dzisiejszy stan. Nowsze pomiary są niższe, ale nie zerowe. Misra i Udandarao w swoim badaniu pilotażowym podają dla trzech modeli frontowych odsetki rzędu 12%, 16% i 21%, przywołując jednocześnie wcześniejsze prace z wynikami od 18% do ponad 70%, a w kontekstach prawniczych sięgającymi 88%. Resnik i Hosseini opisują z kolei skutki po stronie publikacji: w jednym artykule zmyślonych było 19 z 29 cytowań, w innym, wycofanym przez PLOS ONE, 18 z 76, a w tekście w „Digestive Diseases and Sciences" 12 z 14 (s. 3).

Przez te badania przewija się przy tym prawidłowość o praktycznym znaczeniu. Im węższa i mniej opisana dziedzina, tym wyższy odsetek. Model ma wtedy mniej realnych wzorców do odtworzenia, a mechanizm generowania działa tak samo, więc uzupełnia lukę czymś prawdopodobnym.

Najgroźniejsza jest kategoria pośrednia

Misra i Udandarao przy budowie zbioru testowego weryfikowali cytowania w Crossref, OpenAlex i Semantic Scholar, a następnie przypisywali je do trzech kategorii: poprawne, częściowo poprawne (część pól się zgadza, jedno lub więcej jest błędnych) i zmyślone (brak wiarygodnego dopasowania). Ta środkowa kategoria jest najbardziej podstępna, bo praca istnieje, więc szybkie wyszukanie tytułu ją potwierdzi, a mimo to przypis jest nieprawdziwy.

Widać to nawet w definicjach badawczych. Chelli i współautorzy uznawali pracę za zhalucynowaną dopiero wtedy, gdy błędne były co najmniej dwa z trzech elementów: tytuł, pierwszy autor lub rok wydania (s. 1). Cytowanie z jednym błędnym polem nie wchodziło więc do statystyki halucynacji, choć w bibliografii pracy dyplomowej jest po prostu wadliwe.

Stąd wniosek dla twojej listy źródeł. Pytanie „czy ta praca istnieje" to za mało. Trzeba jeszcze sprawdzić, czy zgadza się autor, rok, czasopismo i numer strony, na którą się powołujesz. Dokładnie to robi sprawdzarka źródeł cytado, porównując każdą pozycję z rekordami w bazach bibliograficznych zamiast oceniać jej wygląd.

Co realnie zmienia podłączenie modelu do bazy

Szeider pokazuje, że problemu nie rozwiązuje samo dopięcie API do modelu, bo model nadal może sfabrykować lub przekręcić dane bibliograficzne przy przetwarzaniu wyników wyszukiwania (s. 2). Jego architektura opiera się na innej zasadzie: na końcowym etapie eksportu model zostaje pominięty, a rekordy pobiera się bezpośrednio ze źródła autorytatywnego (s. 2). W ewaluacji na 104 zaciemnionych cytowaniach taki tryb dał 82,7% idealnych dopasowań wobec 28,2% dla zwykłego wyszukiwania w sieci, przy zerowej liczbie przypadków przekręcenia metadanych (s. 3).

To najważniejsza praktyczna konsekwencja całego mechanizmu. Poprawa jakości bibliografii nie bierze się z lepszego promptu ani z prośby „podaj tylko prawdziwe źródła", bo model nie ma jak spełnić takiej instrukcji. Bierze się ze zmiany architektury, w której ostatnim ogniwem nie jest już model, tylko odpytana bezpośrednio baza.

Praktyczna procedura na listę źródeł od AI

1. Potraktuj każdą pozycję jako hipotezę, nie jako wynik wyszukiwania.
2. Sprawdź istnienie po DOI albo po tytule w Crossref, OpenAlex lub katalogu biblioteki. Szczegóły opisaliśmy w tekście Jak sprawdzić, czy źródło naprawdę istnieje.
3. Porównaj pola, a nie sam tytuł: pierwszy autor, rok, czasopismo, tom, strony.
4. Otwórz stronę, na którą się powołujesz, i sprawdź, czy niesie twierdzenie, które do niej przypisałeś.
5. Odrzuć wszystko, czego nie udało się potwierdzić. Krótsza bibliografia zaszkodzi ocenie mniej niż jedna pozycja, której promotor nie odnajdzie.

Ostatnia uwaga na temat konsekwencji. Resnik i Hosseini argumentują, że w pewnych sytuacjach zamieszczenie zmyślonego cytowania może wypełniać znamiona naruszenia rzetelności naukowej, mianowicie wtedy, gdy cytowania pełnią funkcję danych, bo bezpośrednio wspierają wyniki badania (jak w artykułach przeglądowych czy pracach bibliometrycznych), a autor wykazał obojętność wobec ryzyka fabrykacji, nie sprawdzając wyjścia modelu pod kątem prawdziwości (s. 1). W pracy dyplomowej stawka jest inna niż w publikacji naukowej, ale logika oceny bywa podobna: nie musisz wiedzieć, że źródło jest fałszywe, wystarczy, że go nie sprawdziłeś.

Źródła akademickie do tego artykułu wyszukał sam korpus cytado, a numery stron pochodzą z paginowanych tekstów, nie z pamięci modelu.