Een Large Language Model (afgekort LLM, in het Nederlands een groot taalmodel) is een AI-systeem met heel veel interne instellingen, de parameters, dat getraind is op enorme hoeveelheden tekst. Het kan tekst schrijven die op mensenwerk lijkt, vragen beantwoorden, informatie samenvatten en nog veel meer. Claude is gebouwd op zo'n taalmodel.
Hoe werkt zo'n model van binnen, en wat betekent trainen op tekst precies? In dit artikel lopen we de stappen door van ruw taalmodel tot bruikbare AI-assistent.
Stap 1: voortraining op tekst
Alles begint met pretraining (voortraining): het model leert van een grote verzameling tekst die niet speciaal is voorbereid. Het oefent daarbij steeds hetzelfde: voorspel het volgende stukje tekst, gegeven alles wat ervoor staat.
Dat gebeurt ontelbaar vaak, op tekst uit boeken, websites, code en artikelen. Bij elke voorspelling stelt het model zijn parameters een klein beetje bij, totdat het steeds beter wordt in het voorspellen van tekst die klopt met de context.
Na de voortraining weet het model veel over taal en over de wereld, maar het is nog geen handige assistent. Het volgt niet vanzelf instructies en weet niet goed hoe het een vraag moet beantwoorden.
Tokens: de eenheden waarin een LLM rekent
Een taalmodel werkt niet met letters of hele woorden, maar met tokens. Een token kan een woord zijn, een deel van een woord, een los teken of zelfs een byte. Hoeveel tekens een token gemiddeld is, verschilt per model en per taal.
Als je Claude een tekst geeft, wordt die eerst omgezet in een reeks tokens. Het model verwerkt die tokens en maakt zijn antwoord ook token voor token. Daarom worden de limieten van een taalmodel in tokens uitgedrukt, niet in woorden of pagina's.
Het contextvenster bepaalt hoeveel tokens het model in één keer kan meenemen. Zie het als het werkgeheugen van het model: het is iets anders dan de tekst waarop het getraind is. Met een groter contextvenster kan Claude langere gesprekken en documenten overzien.
Stap 2: finetuning en RLHF
Na de voortraining volgt finetuning: het model wordt verder getraind op extra, gerichte data en gaat de patronen daarvan overnemen. Claude is geen kaal taalmodel: het is al getraind om een behulpzame assistent te zijn voordat je ermee werkt.
Een bijzondere vorm is RLHF: Reinforcement Learning from Human Feedback. Mensen zetten daarbij twee of meer voorbeeldantwoorden op volgorde van voorkeur. Het model leert vervolgens antwoorden te geven die lijken op de antwoorden die hoger scoorden. Zo wordt het beter in het volgen van instructies en in het voeren van een gesprek.
- Pretraining: leer taal en kennis uit ruwe tekst.
- Finetuning: stem het gedrag af op een specifieker doel.
- RLHF: verfijn het model op basis van menselijke voorkeuren.
Anthropic heeft Claude onder meer met RLHF getraind. Het doel daarbij is een assistent die behulpzaam, eerlijk en onschadelijk is.
Hoe maakt een LLM tekst?
Stel: je typt een vraag aan Claude. Wat gebeurt er dan?
- Je tekst wordt omgezet in tokens.
- Het model verwerkt die tokens en berekent voor elk mogelijk volgend token hoe waarschijnlijk het is.
- Het model kiest een volgend token op basis van die kansen. Dat heet sampling.
- Het gekozen token komt achter de reeks en het model berekent opnieuw de kansen voor het volgende token.
- Dat gaat door totdat het antwoord af is.
Hoeveel toeval er bij stap 3 meespeelt, regelt een instelling die temperature heet. Een hoge temperature geeft creatievere, meer gevarieerde antwoorden. Een lage temperature geeft voorspelbaardere antwoorden die dicht bij de meest waarschijnlijke formulering blijven. Ook bij temperature 0 kan hetzelfde verzoek nog verschillende antwoorden opleveren.
Schaal en verrassend gedrag
Onderzoek naar zogenoemde schaalwetten laat zien dat modellen die met meer rekenkracht en meer data getraind zijn, over de hele linie beter worden. Die vooruitgang is tot op zekere hoogte voorspelbaar.
Toch zitten er verrassingen in. Grote modellen laten soms vaardigheden of gedrag zien waar niemand ze apart op heeft getraind. Dat heet emergent gedrag. Het komt voort uit de patronen in de trainingsdata, maar de weg daarnaartoe is ingewikkeld en moeilijk te voorspellen.
Dat maakt LLM's tegelijk nuttig en lastig te doorgronden. Het model zoekt geen antwoord op in een database, maar maakt telkens nieuwe tekst op basis van patronen. Daarom klinkt een antwoord vaak overtuigend, ook als het niet klopt.