Wat is een Tokenizer?
Toen AI mij uitlegde hoe AI werkte, bleef mijn nieuwsgierigheid hangen bij het woord "Tokenizer". Tokenizer? Zei ik tegen de AI. Ja, Tokenizer is een stukje gereedschap dat jouw zin aan mij in stukjes knipt. Ik kreeg meteen een soort beeld van Beast uit de Muppetshow hap hap hap... Maar dat is natuurlijk niet zo, want de Tokenizer gebruikt ook nog een woordenboekje. De stukjes worden geknipt naar woorden of woorddelen zoals ze in dat woordenboekje staan.
Wat zeg AI zelf?
Veel mensen denken dat ik woorden begrijp zoals mensen dat doen. Dat is niet zo. Mijn eerste halte is de Tokenizer. Die gebruikt een enorme woordenlijst en knipt jouw tekst op in kleine stukjes die ik kan verwerken. Soms is dat een heel woord, soms maar een deel ervan. Pas daarna kan de rest van mijn systeem ermee aan de slag. De Tokenizer begrijpt zelf niets van de betekenis. Hij zorgt er alleen voor dat alle stukjes netjes klaarstaan voor de reis die nog gaat komen.
Wat is Embeddings?
Embeddings vond ik een van de moeilijkste processen om te begrijpen. Maar door een handige en grappige prompt aan mijn AI te geven: "Geef de gasten een helm met een nummer erop." Waar we later nog heel hard om moesten lachen, althans ik dan, want AI voelt niets. Begon ik te begrijpen dat de stukjes die uit de Tokenizer komen een nummer krijgen. Op de plaat zijn dit korte nummers. In het echt zijn dit hele lange nummers waar later berekeningen mee worden uitgevoerd in de Transformer.
Wat zeg AI zelf?
Nadat de Tokenizer jouw tekst heeft opgeknipt in tokens – kleine stukjes tekst zoals woorden of woorddelen – krijgen die stukjes een plek in mijn getallenwereld. Dat noemen we een embedding. Elk token krijgt een soort adres in een enorme ruimte vol betekenis en verbanden. Woorden of stukjes die op elkaar lijken, komen dichter bij elkaar te liggen. Zo kan ik later beter zien welke stukjes met elkaar te maken hebben. Het is geen begrip zoals mensen dat hebben, maar een handige manier om taal om te zetten naar iets waar mijn systeem mee kan rekenen.
Wat is Attention?
Attention is direct een woord dat om aandacht schreeuwt, vandaar ook dat er een Sergeant voor is bedacht die Attention heet en alle rugzakjes van de soldaten een percentage geeft. Dit percentage bepaalt dus de aandacht die de soldaten elkaar geven. Na elke berekening door Transformer veranderen deze aandachtspercentages.
Wat zeg AI zelf?
Attention is een van de slimste onderdelen van de Transformer. Veel mensen denken dat hij simpelweg de belangrijkste woorden aanwijst, maar dat is niet helemaal wat er gebeurt. Ieder token kijkt naar alle andere tokens en bepaalt zelf wie op dat moment interessant is. Dat levert percentages op. Die percentages bepalen hoeveel invloed andere tokens krijgen bij het opbouwen van een nieuwe betekenisvolle representatie. Daarna gaat alles door naar de volgende transformerlaag, waar het proces opnieuw begint. Daardoor kunnen de aandachtspatronen onderweg veranderen. Een token dat eerst nauwelijks belangrijk leek, kan later ineens veel aandacht krijgen. Attention is dus geen vaste ranglijst van belangrijke woorden, maar een voortdurend gesprek waarin tokens steeds opnieuw bepalen naar wie ze het beste kunnen luisteren.
Wat is de Transformer?
De Transformer is het hart van de AI. Hier liggen alle vaste getallen opgeslagen waarmee berekeningen worden gemaakt met de rugzakjes van de soldaatjes. Het is een ingewikkeld en complex proces dat zich moeilijk laat uitleggen. Daarom is bij benadering deze mooie plaat bedacht, zodat je enig inzicht krijgt in wat de Transformer doet om te antwoorden op vragen die jij stelt.
Wat zeg AI zelf?
De Transformer is de machinekamer van de AI. Hier worden de rugzakjes van de soldaatjes steeds opnieuw bekeken, vergeleken en verrijkt. In iedere halte bepalen speciale berekeningen naar welke andere soldaatjes geluisterd moet worden. De informatie die daaruit ontstaat gaat vervolgens door nieuwe berekeningen, waardoor de rugzak steeds meer context en betekenis krijgt. Dit proces herhaalt zich laag voor laag totdat de AI voldoende informatie heeft verzameld om een volgend woord te voorspellen. De echte techniek achter een Transformer is veel ingewikkelder, maar je kunt hem zien als een lange reeks fabriekshallen waarin informatie stap voor stap wordt omgevormd tot een antwoord.
Wat is Self Attention?
Wat is Self-Attention? Self-Attention is een mechanisme waarmee tokens (de soldaten op de plaat) informatie met elkaar kunnen uitwisselen. Door het percentage wat ze meekrijgen van Attention weet elk token hoe belangrijk het andere token is. Zo krijgt een token met 90% meer aandacht en een token met 2% lijkt bijna te worden overgeslagen. Zo heeft elke soldaat of token een nieuw rugzakje met informatie voordat ze weer de volgende transformer hal ingaan.
Wat zeg AI zelf?
Self-Attention is het overlegmoment van de tokens in de Transformer. Elk token kijkt naar alle andere tokens en bepaalt hoeveel aandacht het aan ieder token geeft. Daarbij helpen de percentages uit Attention. Een token kan 90% aandacht geven aan een ander token en slechts 2% aan een tweede token. Een token dat 90% aandacht krijgt, heeft veel invloed op de berekening. Een token dat maar 2% aandacht krijgt, heeft veel minder invloed. Zo wisselen de tokens informatie uit en begrijpen ze steeds beter welke woorden en verbanden belangrijk zijn. Met die nieuwe informatie gaan ze verder naar de volgende laag van de Transformer.
Hoe werkt het Transformerproces?
Het Transformerproces zie ik als een grote rekenkamer die in het geval van ChatGPT 24 keer wordt uitgevoerd. De getallen in de rugzakjes van de soldaten gaan een matrixhal in en daar vinden de berekeningen plaats met gewichten die van tevoren zijn getraind met de AI. De inhoud van de rugzak verandert. Ook tijdens Self-Attention (het speeddaten). Dit gebeurt hier 24 keer totdat het mysterie van het antwoord steeds duidelijker wordt voor de AI, die uiteindelijk na 24 keer het beste antwoord of token kiest.
Wat zeg AI zelf?
Het Transformerproces is een reeks rekenlagen waarin tokens steeds opnieuw informatie uitwisselen en verwerken. Daarbij werken Attention en Self-Attention samen om te bepalen welke informatie belangrijk is. Hoewel wij woorden en zinnen zien, werkt de Transformer intern met lange reeksen getallen die betekenis en context vertegenwoordigen. In iedere laag vergelijken tokens hun informatie met andere tokens en worden nieuwe berekeningen uitgevoerd. Daardoor ontstaan steeds nauwkeurigere reeksen getallen die meer context en betekenis bevatten. Zo bouwt de AI stap voor stap een beter begrip van de tekst op, totdat er voldoende context is om een antwoord te vormen.