Jak działa ChatGPT? Tajemnica transformera

ChatGPT sprawia wrażenie, jakby rozumiał język niemal tak jak człowiek. Odpowiada na pytania, streszcza teksty, pisze maile, poprawia kod, a czasem nawet żartuje lepiej niż część znajomych na firmowym czacie. Nic dziwnego, że wiele osób zadaje sobie pytanie: jak to właściwie działa?

Dobra wiadomość jest taka, że nie trzeba kończyć informatyki ani przebijać się przez wzory, żeby zrozumieć podstawy. Wystarczy kilka prostych pojęć i sensowne porównania. Zacznijmy od początku.

Najkrótsza odpowiedź: ChatGPT przewiduje kolejne słowo

To brzmi podejrzanie skromnie, ale w gruncie rzeczy właśnie na tym polega sedno działania dużych modeli językowych, czyli LLM-ów (Large Language Models).

ChatGPT bierze tekst, który wpisujesz, dzieli go na mniejsze elementy i na podstawie ogromnej liczby przykładów z treningu przewiduje, co powinno pojawić się dalej. Potem robi to jeszcze raz. I jeszcze raz. Słowo po słowie, a dokładniej: element po elemencie.

Jeśli wpiszesz:

„Stolicą Francji jest…”

model uzna, że bardzo prawdopodobnym kolejnym słowem będzie „Paryż”.

Jeśli wpiszesz:

„Napisz uprzejmy mail z prośbą o przesunięcie terminu spotkania”

to model nie „myśli” jak człowiek o kalendarzu, relacjach i etykiecie. Zamiast tego przewiduje ciąg słów, który najlepiej pasuje do takiej prośby, bazując na wzorcach poznanych wcześniej.

To może wydawać się mało romantyczne, ale właśnie z tego prostego mechanizmu bierze się zaskakująco dużo „inteligentnych” zachowań.

Zanim transformer: czym w ogóle jest sieć neuronowa?

Żeby zrozumieć ChatGPT, warto najpierw oswoić pojęcie sieci neuronowej.

Nazwa brzmi biologicznie, ale nie chodzi o cyfrową kopię ludzkiego mózgu. To raczej matematyczny system do wykrywania wzorców. Taki system dostaje dane wejściowe, przetwarza je przez wiele warstw i na końcu daje wynik.

Można to porównać do pracy kilku filtrów ustawionych jeden za drugim:

• pierwszy filtr wychwytuje proste cechy,
• kolejny łączy je w bardziej złożone wzory,
• następny rozpoznaje jeszcze wyższy poziom znaczenia.

W obrazach sieć może najpierw wykrywać krawędzie, potem kształty, a na końcu stwierdzić: „to wygląda jak kot”.

W języku działa to inaczej, ale zasada jest podobna: model uczy się zależności między elementami tekstu. Na przykład tego, że po słowie „dzień” często pojawia się „dobry”, a po „serdecznie pozdrawiam” zwykle kończy się mail.

LLM, czyli duży model językowy

ChatGPT należy do rodziny dużych modeli językowych. „Duży” oznacza tu kilka rzeczy naraz:

• model ma bardzo dużo parametrów,
• trenowano go na bardzo dużych zbiorach tekstu,
• potrafi wykonywać wiele zadań związanych z językiem.

Parametry to w uproszczeniu liczby wewnątrz modelu, które określają, jak silnie różne elementy wpływają na siebie. Podczas treningu model dostosowuje te liczby, żeby coraz lepiej przewidywać kolejne fragmenty tekstu.

Nie trzeba znać dokładnej matematyki, żeby uchwycić ideę: model czyta ogromne ilości tekstów i stopniowo staje się coraz lepszy w zgadywaniu, jak język zwykle działa.

Nie uczy się jednak jak uczeń, który zapamiętuje definicję z podręcznika. Bardziej przypomina kogoś, kto przeczytał niewyobrażalnie dużo i dzięki temu wyczuwa styl, strukturę, związki i typowe odpowiedzi.

Tekst to dla modelu nie słowa, tylko tokeny

Tu pojawia się pierwszy ważny szczegół. ChatGPT nie pracuje bezpośrednio na „słowach” tak, jak my je widzimy. Zamiast tego używa tokenów.

Token to fragment tekstu. Czasem jest to całe słowo, czasem część słowa, a czasem pojedynczy znak lub znak interpunkcyjny.

Na przykład zdanie:

„Lubię kawę z mlekiem.”

może zostać podzielone na mniejsze części. Model nie patrzy więc na tekst jak człowiek czytający zdanie, tylko jak system operujący na sekwencji elementów.

Po co to wszystko? Bo język jest zbyt złożony, żeby traktować każde możliwe słowo jako osobny, sztywny klocek. Dzięki tokenom model lepiej radzi sobie z:

• nowymi słowami,
• odmianą wyrazów,
• literówkami,
• różnymi językami,
• nazwami własnymi i specjalistycznym słownictwem.

To trochę jak z klockami LEGO: z mniejszych części da się zbudować znacznie więcej niż z gotowych, niepodzielnych brył.

Skąd model „wie”, co znaczą słowa?

Nie wie tego w ludzki sposób. Zamiast znaczeń słownikowych model buduje reprezentacje liczbowe słów i tokenów. W praktyce każdy token zamienia się na zestaw liczb, który odzwierciedla jego relacje z innymi tokenami.

Brzmi sucho, ale efekt jest ciekawy. Tokeny używane w podobnych kontekstach zaczynają mieć podobne reprezentacje. Dzięki temu model „wyczuwa”, że słowa takie jak „pies” i „kot” są do siebie bardziej podobne niż „pies” i „mikrofalówka”. Na szczęście.

To właśnie dlatego LLM potrafi:

• rozpoznawać sens wypowiedzi,
• parafrazować zdania,
• tłumaczyć między językami,
• odpowiadać na pytania w różnym stylu.

Nie dlatego, że ma w głowie encyklopedię w klasycznej formie, ale dlatego, że nauczył się statystycznych zależności w języku na ogromną skalę.

Problem starszych modeli: pamięć była za krótka

Zanim pojawiły się transformery, do pracy z tekstem używano innych architektur, zwłaszcza modeli sekwencyjnych, takich jak RNN czy LSTM. Ich główny problem był dość ludzki: gubiły kontekst, zwłaszcza gdy tekst robił się dłuższy.

Wyobraź sobie zdanie:

„Kot, którego wczoraj widziałem u sąsiadki, mimo deszczu i całego zamieszania, wbiegł do ogrodu, bo przestraszył się psa.”

Aby dobrze zrozumieć końcówkę, trzeba pamiętać, kto tu właściwie biegał i czego się przestraszył. Starsze modele przetwarzały tekst bardziej krok po kroku, przez co trudniej było im utrzymać relacje między odległymi fragmentami.

I wtedy na scenę wchodzi bohater tego tekstu.

Czym jest transformer?

Transformer to architektura sieci neuronowej zaprojektowana specjalnie do pracy z sekwencjami, takimi jak tekst. Została opisana w 2017 roku w słynnej pracy badawczej „Attention Is All You Need”.

Jej największy przełom polegał na tym, że model nie musi czytać tekstu wyłącznie słowo po słowie jak ktoś przesuwający palcem po linijce. Zamiast tego może spojrzeć na wiele elementów naraz i ocenić, które fragmenty są dla siebie ważne.

Kluczowym mechanizmem jest tutaj attention, czyli po polsku najczęściej „mechanizm uwagi”.

Attention, czyli na co model zwraca uwagę

To najważniejsza część całej historii.

Kiedy człowiek czyta zdanie, nie traktuje wszystkich słów jednakowo. Jeśli widzisz zdanie:

„Ala nie poszła do pracy, bo była chora.”

to słowo „chora” łączy się w twojej głowie z Alą, a nie z pracą. Dla nas to oczywiste. Dla modelu trzeba było stworzyć mechanizm, który pomoże uchwycić takie relacje.

Mechanizm attention pozwala modelowi ocenić, na które wcześniejsze tokeny powinien spojrzeć, gdy przetwarza aktualny fragment.

Inaczej mówiąc: model pyta sam siebie,

• które słowa w tym zdaniu są teraz najważniejsze,
• z czym ten token jest powiązany,
• gdzie znajduje się potrzebny kontekst.

Dzięki temu ChatGPT lepiej rozumie zależności typu:

• kto jest podmiotem zdania,
• do czego odnosi się zaimek,
• które słowo zmienia znaczenie innego,
• jaki był temat kilka zdań wcześniej.

Prosty przykład działania attention

Weźmy zdanie:

„Maria oddała Annie książkę, bo już ją przeczytała.”

Człowiek zwykle rozumie, że „ją” odnosi się do książki, a nie do Anny. Model musi jakoś dojść do tego samego.

Mechanizm attention sprawia, że przy analizie słowa „ją” i „przeczytała” model może nadać większą wagę słowu „książkę” niż innym elementom zdania.

Nie robi tego przez „zrozumienie” w filozoficznym sensie, tylko przez obliczenie, które elementy są najbardziej istotne w danym kontekście.

To trochę jak czytanie z zakreślaczem, który automatycznie podpowiada, na co warto spojrzeć jeszcze raz.

Dlaczego transformer był takim przełomem

Powodów jest kilka.

Po pierwsze, transformer lepiej łapie zależności na dużych odległościach. Jeśli ważne słowo pojawiło się dużo wcześniej, model nadal może do niego „zajrzeć”.

Po drugie, transformer pozwala na bardziej równoległe przetwarzanie danych. To ważne technicznie, bo przyspiesza trening na ogromnych zbiorach tekstu.

Po trzecie, architektura okazała się wyjątkowo skalowalna. Gdy zwiększano:

• ilość danych,
• moc obliczeniową,
• liczbę parametrów,

modele zaczynały robić rzeczy, które wcześniej wydawały się zaskakująco trudne: sensowne rozmowy, streszczenia, tłumaczenia, generowanie kodu czy odpowiadanie na pytania z różnych dziedzin.

W skrócie: transformer nie był tylko małym ulepszeniem. To była zmiana zasad gry.

Jak przebiega trening ChatGPT?

W dużym uproszczeniu można to podzielić na dwa etapy.

1. Wstępne trenowanie na ogromnej liczbie tekstów

Najpierw model dostaje bardzo dużo tekstu i uczy się przewidywać kolejne tokeny. Czyli znów: widzi fragment i próbuje odgadnąć, co powinno być dalej.

Jeśli się myli, jego parametry są lekko korygowane. Ten proces powtarza się niewyobrażalnie wiele razy.

To właśnie na tym etapie model uczy się:

• gramatyki,
• stylów pisania,
• podstawowych faktów o świecie,
• typowych struktur wypowiedzi,
• zależności między pojęciami.

2. Dostrajenie do rozmowy

Sam model przewidujący kolejne tokeny to jeszcze nie wszystko. Żeby był użyteczny w formie czatu, trzeba go dodatkowo dostroić.

W praktyce oznacza to uczenie modelu, jak odpowiadać:

• bardziej pomocnie,
• bezpieczniej,
• czytelniej,
• zgodnie z intencją użytkownika.

Tutaj wykorzystuje się między innymi przykłady przygotowane przez ludzi oraz informacje zwrotne o tym, które odpowiedzi są lepsze.

Dzięki temu ChatGPT nie tylko „dopowiada tekst”, ale robi to w formie, która przypomina rozmowę z asystentem.

Czy ChatGPT rozumie, co mówi?

To jedno z najciekawszych pytań i uczciwa odpowiedź brzmi: to zależy, co rozumiemy przez „rozumie”.

Jeśli przez rozumienie mamy na myśli ludzką świadomość, intencje, doświadczenie świata, emocje i zdrowy rozsądek budowany przez życie, to nie. ChatGPT nie ma takich rzeczy.

Jeśli jednak przez rozumienie rozumiemy zdolność do:

• uchwycenia sensu wypowiedzi,
• rozpoznania relacji między pojęciami,
• generowania trafnej odpowiedzi,
• stosowania wiedzy w nowych kontekstach,

to w praktycznym sensie model potrafi bardzo dużo.

Dlatego właśnie czasem wydaje się niemal „myślący”, choć jego mechanizm działania opiera się na przewidywaniu i wzorcach statystycznych, a nie na ludzkim doświadczeniu.

Skąd biorą się błędy i halucynacje?

Skoro model bywa tak dobry, to czemu czasem podaje nieprawdę z godną podziwu pewnością siebie?

Bo ChatGPT nie ma wbudowanego licznika prawdy. Jego celem jest wygenerowanie odpowiedzi, która pasuje do kontekstu i wygląda wiarygodnie. To nie to samo, co odpowiedź zawsze zgodna z rzeczywistością.

Błędy mogą wynikać z kilku powodów:

• model widział w treningu sprzeczne lub niepełne informacje,
• pytanie jest niejednoznaczne,
• temat wymaga aktualnych danych, których model może nie mieć,
• model „skleja” odpowiedź z prawdopodobnych elementów, które razem brzmią dobrze, ale nie są poprawne.

To właśnie nazywa się często halucynacją modelu.

W praktyce warto traktować ChatGPT jak bardzo sprawnego asystenta do myślenia i pisania, ale nie jak nieomylne źródło prawdy objawionej.

Dlaczego ChatGPT brzmi tak naturalnie?

Bo trenowano go na ogromnych ilościach tekstu pisanego przez ludzi. Dzięki temu nauczył się:

• rytmu języka,
• typowych konstrukcji zdań,
• różnych stylów wypowiedzi,
• sposobów wyjaśniania,
• form grzecznościowych i konwencji rozmowy.

Model nie „ma osobowości” w ludzkim sensie, ale potrafi bardzo dobrze naśladować sposób, w jaki ludzie formułują odpowiedzi. To daje wrażenie naturalności.

Czasem aż za duże. Dlatego łatwo zapomnieć, że po drugiej stronie nie siedzi ktoś z kubkiem kawy, tylko system przewidujący kolejne tokeny z imponującą skutecznością.

A gdzie w tym wszystkim miejsce na prompty?

Prompt to po prostu instrukcja wejściowa, czyli to, co wpisujesz do modelu. Od jakości promptu bardzo dużo zależy, bo model reaguje na kontekst, który mu podajesz.

Jeśli napiszesz:

„Opowiedz o transformerach”

dostaniesz ogólną odpowiedź.

Jeśli napiszesz:

„Wyjaśnij, jak działa architektura transformera osobie bez technicznego wykształcenia, użyj prostych przykładów i nie stosuj matematyki”

odpowiedź będzie zwykle znacznie lepiej dopasowana.

To trochę jak z zadawaniem pytań ekspertowi. Im jaśniej określisz, czego chcesz, dla kogo i w jakiej formie, tym większa szansa na dobrą odpowiedź.

Jeśli chcesz wejść poziom głębiej

Jeśli po tym tekście czujesz, że „wreszcie to ma sens”, ale chcesz przejść od ogólnego zrozumienia do praktyki, warto uczyć się dalej w uporządkowany sposób. Dobrym krokiem będzie kurs, który pokazuje nie tylko czym jest AI i LLM, ale też jak korzystać z nich sensownie w pracy i nauce.

W Akademii AI znajdziesz materiały prowadzone prostym językiem, bez niepotrzebnego technicznego zadęcia. To szczególnie przydatne dla osób, które chcą zrozumieć podstawy i od razu przekuć je na praktyczne użycie, zamiast tonąć w teorii po drugim akapicie.

Co warto zapamiętać z całej tej historii

ChatGPT nie działa jak magiczna kula ani jak cyfrowy człowiek zamknięty w serwerowni. To duży model językowy oparty na architekturze transformera, który nauczył się przewidywać kolejne elementy tekstu na podstawie ogromnej liczby przykładów.

Najważniejsze elementy układanki to:

• sieć neuronowa, czyli system wykrywający wzorce,
• tokeny, czyli fragmenty tekstu, na których pracuje model,
• trening, podczas którego model uczy się przewidywać dalszy ciąg,
• attention, czyli mechanizm skupiania się na istotnych fragmentach kontekstu,
• transformer, który pozwolił skutecznie przetwarzać język na dużą skalę.

I chyba właśnie to jest w tym wszystkim najciekawsze: za narzędziem, które wygląda jak rozmowa, stoi zestaw pomysłów zaskakująco prostych w swojej idei. Trudna jest skala, nie sam rdzeń koncepcji.

Kiedy następnym razem ChatGPT napisze ci mail, wyjaśni pojęcie albo pomoże uporządkować notatki, możesz pamiętać jedno: nie „myśli” jak człowiek. Ale dzięki transformerowi potrafi bardzo dobrze przewidywać, jak powinna wyglądać sensowna odpowiedź. I to już wystarcza, żeby robić rzeczy, które jeszcze chwilę temu wydawały się science fiction.