Hebben we het plafond bereikt? Dat maakt niet uit, we kunnen nu al 10 jaar vooruit!

Is de ontwikkeling aan het afvlakken? Zijn we in de fase van de verminderde meeropbrengst terechtgekomen? Deze discussie is losgebarsten nadat een aantal prominente figuren in de generatieve AI wereld lieten vallen dat er sprake is van tegenvallende resultaten bij de ontwikkeling van de grensmodellen (frontier models). GPT5, waar al maanden op gespeculeerd wordt laat op zich wachten. Anthropics Claude deed met een verwarrende naamgeving ook vermoeden dat de nieuwste versie van het meest geavanceerde model niet zonder slag of stoot ten tonele zal verschijnen. Ex-OpenAI Ilya Sutskever had het over het afvlakken van de ontwikkeling (plateauing). En na een kritisch artikel in the Information  sloeg de twijfel toe en dringt de vraag zich op: wat is er aan de hand?

Hype

Sinds ChatGPT is de publieke belangstelling voor generatieve AI enorm toegenomen. Met publieke belangstelling (hype, zo je wil), ontstaan er ook enorme financiële belangen, doordat enerzijds durfkapitaal enorm veel geld steekt in de ontwikkeling van deze technologie, maar ook dat er voor bedrijven en overheden ineens een Gok van Pascal op tafel ligt. De voortdurend gepubliceerde cijfers over exponentiële groei en kwalitatieve verbetering zijn de brandstof voor deze aandacht en investeringen. De markten en aandacht zijn torenhoog opgeblazen, dus de verwachtingen zijn hooggespannen. Het wordt steeds moeilijker om op hetzelfde niveau van hype te blijven, dus het is niet vreemd dat er scheurtjes in dit narratief ontstaan.

Neurale schalingswet

Tot nu toe beroepen de ontwikkelaars van genAI zich op de 'neurale schalingswet' (neural scaling law)—die beter een schalingspatroon zou kunnen heten, maar dat terzijde. De Schalingswet stelt dat de prestaties van AI-modellen verbeteren door de hoeveelheid rekenwerk, de hoeveelheid trainingsdata, en de grootte van het model (aantal parameters). Meer van elk leidt tot (nu toe) tot betere prestaties. De scheurtjes ontstaan dus in deze aanname. Het is een empirisch, geobserveerde 'wet' die niet volledig theoretisch bewezen is, maar wat we tot nu toe zien is dat het patroon klopt. In die zin lijkt het op de wet van Moore, die grofweg stelt dat de snelheid van chips elke twee jaar verdubbelt. Deze laatste wet stamt uit 1965, en er is al verschillende keren voorspeld dat deze zijn beste tijd heeft gehad, maar tot op heden klopt het patroon nog steeds. Deze gedeeltelijke "Dat kan toch niet zo doorgaan?"-mentaliteit gecombineerd met degelijke theoretische wetenschappelijke onderbouwing roepen wel degelijk een eindigheidsvraag op. Dezelfde eindigheidsvraag dringt zich dus nu op bij de neurale schalingswet.

Het einde van de schalingswet?

Nou? Hebben we een al dan niet tijdelijke limiet bereikt? We weten het niet. Precies om de reden dat het geen wet betreft maar een waargenomen patroon, is het onmogelijk om te zeggen of de ontwikkeling afvlakt tótdat het gebeurt. Maar doet dat er eigenlijk wel toe? Wij willen graag betogen dat dat op korte en middellange termijn niet uitmaakt. Voor de verre toekomstscenario's maakt dat uit, voor artificiële generieke intelligentie (AGI) maakt het uit, voor veel robotisering maakt het uit. Maar op de termijn van 3-5 jaar? Zelfs 10? Er ligt nog een gigantisch onbenut potentieel met wat de verschillende genAI modellen nu al kunnen. Deze gedachte ging al eerder door mijn hoofd, toen er in 2023 een oproep kwam om een moratorium op de verdere ontwikkeling van genAI op te leggen, totdat er belangrijke veiligheidswaarborgen waren geïntroduceerd. Ook toen dacht ik al, 'dat zal best, al zouden we nú stoppen, maar wat genAI nu al kan zijn we nog jaren bezig om erachter te komen welke toepassingen we nog niet gevonden hebben.'  Daarnaast, —en misschien nog belangrijker—het überhaupt 'uitrollen', aanpassen en toepassen van deze technologie in verschillende sectoren gaat nog járen duren.

Concreet

Wat betekent dat dan concreet? Wij denken dat er drie grote ontwikkelingen kunnen plaatsvinden ongeacht of de technologie verder verbeterd of niet: de mens kan veel beter leren omgaan met genAI, er worden nieuwe (domeinspecifieke) toepassingen ontdekt, de (uitgestelde) implementatie van de technologie—vooral in sectoren die minder affiniteit hebben met technologische innovatie of op een andere manier stuiten op weerstand (zoals wetgeving). Wij zijn vrij zeker van deze ontwikkeling, omdat we qua tekst en audio (en in iets mindere mate beeld) op een niveau zitten waarbij synthethisch vrijwel niet meer van echt te onderscheiden is áls de techniek optimaal wordt toegepast. Dat wil zeggen, als de mens zelf vaardig is én de beperkingen van de techniek kent, kunnen er echt fantastische dingen gecreëerd worden. In het kort: de mens als middelpunt. Wij zien vaak voorbeelden bij anderen (en mezelf) waarin we een glimp van de toekomst meekrijgen, en vaak komen die door één van de bovenstaande drie elementen.

Drie voorbeelden

Drie korte (waargebeurde) voorbeelden met de huidige staat van de technologie:

1. Na maanden worstelen met matige output neemt een notoire skepticus met een schrijfberoep een abonnement op Claude 3.5, voert wat eigen werk in als voorbeeld met een uitgebreider, specifieker prompt. Het resultaat is niet alleen verbluffend goed maar beangstigend, omdat dit grote implicaties heeft voor de toekomst van zijn beroep.
2. De GPT-technologie van woordvoorspellen wordt niet alleen op woorden toegepast, maar nu op bewegingen in de motoren van een robot. Dezelfde technologie leidt tot het sneller kunnen leren van bewegingspatronen, gelijk taal.
3. In het onderwijs begint een docent te experimenteren met het creëren van een custom GPT die aan te roepen is door studenten en onvermoeibaar, goede feedback geeft op tussentijdse opdrachten, waar hij normaal geen tijd voor heeft (dus niet vervangen maar uitbreiden!

Conclusie

De huidige staat van de technologie is genoeg om nog jaren en jaren aan ontwikkeling te kunnen veroorzaken. Zowel bij de gebruiker zelf, als in het op andere manieren toepassen van de technologie, als het überhaupt implementeren in de praktijk. We denken dat de eerste en tweede gestaag tot snel doorgaan en gedreven wordt door *early adopters* en innovatieve ondernemers, maar dat de laatste voor sommige sectoren het langst gaat duren. Daar liggen nog veel kansen (en uitdagingen).

‍