Tijdens CES presenteerde NVIDIA-topman Jensen Huang zijn kijk op de ontwikkeling van AI aan de hand van drie fundamentele schalingswetten: pre-training, post-training en test-time scaling. Wie deze drie wetten begrijpt, begrijpt waarom AI-modellen zo snel beter worden en waar de volgende sprongen vandaan komen.
1. Pre-training: meer data, grotere modellen
De eerste schalingswet is de bekendste: meer data, grotere modellen en meer rekenkracht leiden tot betere prestaties. Dit is de wet die de afgelopen jaren de opmars van grote taalmodellen dreef. Elke verdubbeling van schaal leverde voorspelbaar betere modellen op. Tegelijk stuit deze wet op grenzen: de hoeveelheid kwalitatief goede data is eindig, en de kosten van training groeien hard mee.
2. Post-training: verfijnen met feedback
De tweede wet draait om wat er ná de basistraining gebeurt: het verfijnen van modellen met menselijke feedback (bekend als RLHF, reinforcement learning from human feedback) en met synthetische data. Hier leert een model niet méér feiten, maar wordt het beter in wat we ervan vragen: instructies volgen, veilig antwoorden, redeneren binnen een vakgebied. Voor gereguleerde sectoren is dit de fase waarin een generiek model geschikt wordt gemaakt voor een specifieke, verantwoorde toepassing.
3. Test-time scaling: langer nadenken
De derde en nieuwste wet verlegt de schaal van het trainen naar het gebruiken: een model dat tijdens het beantwoorden meer rekentijd krijgt (meerdere denkstappen, alternatieven afwegen, zichzelf controleren) presteert aantoonbaar beter op complexe taken. "Langer nadenken" wordt zo een knop waaraan je kunt draaien, met bijbehorende kosten per vraag in plaats van per trainingsronde.
Wat betekent dit voor jouw organisatie?
- Modelkeuze is strategie. De drie wetten bepalen prijs, snelheid en kwaliteit. Niet elke taak vraagt het grootste model of de langste denktijd.
- Verfijning verslaat maatwerk-vanaf-nul. Voor de meeste organisaties zit de winst in het goed inrichten en toetsen van bestaande modellen, niet in zelf trainen.
- Kosten verschuiven naar gebruik. Met test-time scaling betaal je per redenering. Dat vraagt om bewuste keuzes over waar diepgang loont.
Manava adviseert modelagnostisch over de juiste modellen en infrastructuur voor jouw toepassing. Neem contact op om te bespreken wat deze ontwikkelingen voor jouw organisatie betekenen.