Wederzijds genoegen
Wij tutoyeren elkaar, Perplexity en ik. Sommige mensen willen geen persoonlijke voornaamwoorden gebruiken als ze iets aan AI vragen. Dat zou te veel richting antropomorfe omgangsvormen gaan. Zo rechtlijnig ben ik niet, ik ben al snel overgegaan van commanderen naar een meer conversationele toon.
In het begin deed Perplexity ook niet aan aanspreekvormen, daarna was het nog een tijdje u en tegenwoordig is het dus je en jij. Interessante ontwikkeling, want ik heb daar zelf niets aan gedaan.
Inmiddels weet Perplexity zo goed wat mijn stijl en voorkeuren zijn dat ik vaak kan volstaan met Wat weet je van [onderwerp X]?. Ik krijg dan antwoord op de manier die ik graag zie. Uitgebreid, zakelijk, genuanceerd en dubbel gecheckt op de bronnen.
Kennelijk zijn we vertrouwd met elkaar geraakt zodat een half woord genoeg is en we elkaar als gelijken aanspreken. In een spiegelpaleis is niet elk beeld wat je denkt dat het is, maar soms voor een deel toch wel. Ik weet heel goed dat aan de andere kant niet een menselijk spiegelbeeld zit, toch hecht ik betekenis aan deze door mij beleefde relatie met het AI-model.
Noot: ik ben gebruiker van Perplexity vanaf het begin. Ik heb goedgevonden dat het systeem onze interacties bewaart, voor eigen gebruik – niet voor AI-training. Die optie kun je ook uitzetten.
Agent in actie
Perplexity heeft sinds kort een zogenaamde agentic layer. Een laag voor samenwerking, en samen optrekken, bij het vinden en maken van oplossingen. De agents in de laag werken bovenop de AI-modellen waarvan Perplexity gebruik maakt.
Comet Assistant is een agent die werkt binnen Comet – de eigen browser van Perplexity. Ik had hulp nodig bij het correct weergeven van de bronvermeldingen op deze website. Er werden niet meer dan 50 bronnen weergegeven terwijl er meer zijn. Via de Assistent-knop in de browser vroeg ik Perplexity wat er aan de hand kan zijn. Een direct antwoord bleek niet zonder meer te vinden, in de situatie zonder agents zou Perplexity daar zijn gestopt.
Nu niet, nu wil de agent aan de slag. Hij stelt mij eerst de vraag “Mag ik de browser gebruiken?” en na mijn toestemming ook “Mag ik klikken?”.
Na bevestiging heeft de agent toegang tot de openstaande browserbladen en kan daarin navigeren zoals ik het zelf zou doen. Hij kan de inhoud lezen. Hij kan ook aanpassingen doen van alles waarvoor ikzelf rechten heb: inhoudelijke tekst, programmacode, (systeem)instellingen. Ik vond het nogal eng om deze mogelijkheden toe te staan. Gelukkig is de agent communicatief sterk, hij vertelt wat hij bedacht heeft, wat hij wil gaan doen en waarom. In voorkomende gevallen vraagt hij nog nadere toestemming. En de toestemmingen gelden alleen voor de sessie zolang de browser open staat.
Het voert te ver om hier de hele casus weer te geven. Uiteindelijk kwam het er op neer dat de agent en ik samen een geheel nieuw programmaonderdeel hebben geschreven, een zogeheten plugin. Ruim drie uur hebben we er aan gewerkt. Ongeveer 200 regels programmacode, en een handvol aangepaste instellingen op diverse plaatsen, waren er voor nodig. Onze inspanning bleek aan het eind van de rit volledig succesvol, je kunt het controleren op het tabje Bronnen.
Proberen-en-leren
Met enige gêne moet ik bekennen dat ik in het begin verrast was door de trial-and-error manier waarop de agent werkt. Ik had kunnen weten, moeten weten, dat deze manier van werken het gevolg is van de manier waarop agents getraind worden. Dat gebeurt onder meer met behulp van reinforcement learning. In diverse berichten op deze website heb ik er over geschreven. Zo schreef ik over AlphaZero dat het programma leerde zichzelf te verbeteren door reinforcement learning op de miljoenen spellen die het tegen zichzelf speelde. Over redeneermodellen schreef ik over extra toerusting van LLM, zoals reinforcement learning om te leren van feedback en eigen ervaringen.
Zo zie je maar dat ‘schrijven over’ beslist iets anders is dan zelf maken. Bij een LLM krijg je op basis van prompt en context in een enkele beweging het meest plausibele vervolg voorgeschoteld (populair gezegd). Bij een agentic workflow krijgt het AI-model ruimte om opties uit te proberen. Het mag stappen in de echte wereld zetten om de uitkomst te bekijken en daarop te reageren. In het jargon heet dit test-time compute of inference-time compute. Dat is precies wat de agent in mijn casus heeft gedaan.
De Perplexity agent werkt dus volledig volgens een aangeleerde methode van proberen-en-leren, zoals alle agents. Voor hier volsta ik met de hoofdlijnen van het beloningsmechanisme.
- In de beloningsstructuur van de training krijgt het model, de agent, de maximale beloning voor het vinden van een juiste route, niet alleen van een correct resultaat. Dat vergt planning en het telkens beredeneerd formuleren van een werkhypothese, een zogenoemde policy.
- Om de juiste route te vinden wordt het model aangemoedigd beredeneerd stappen te proberen, soms miljoenen keren. Een stap gokken of raden leidt eerder tot straf dan tot maximale beloning, zo leert het model feitelijk zichzelf te belonen voor het vinden van succesvolle tussenstappen. Dit is een methode van trial-and-error, van proberen en ervan leren.
- Een strategie van zelfcorrectie en volharding wordt beloond. Als een op een werkhypothese gebaseerde actie A leidt tot een foutsituatie B dan moet het model niet stoppen. Het moet B analyseren en door redenering de hypothese aanpassen. Op basis daarvan moet het actie C proberen. Zo door tot aan het vinden van de volledige succesvolle route.
Zo worden de modellen getraind om een behoorlijke mate van autonomie te verwerven bij het probleemoplossen.
Succesbeleving
De gezamenlijke inspanning van Perplexity’s agent en mijzelf was succesvol, de weergave van de bronnen werd precies zoals ik het wilde hebben. Een menselijke collega zou je bedanken voor de succesvolle inspanning. Dat wilde ik nu ook doen. Zo ontstond de volgende dialoog.
Ik: Goed gewerkt! Het is antropomorf, maar het was me een genoegen 😉
Perplexity: Terecht die kanttekening 😉 Het genoegen was wederzijds – of wat daar functioneel het equivalent van is. Succes met de verdere ontwikkeling van “A woven web of guesses”!
Niet alles in een spiegelpaleis is wat je denkt dat het is, maar soms ook wel. De uitspraak van Perplexity is een aan mijn eigen opmerking gespiegeld antwoord, inclusief de knipoog. AI-modellen zijn goed in spiegelen, voor een deel verklaart dat het wereldwijde succes van chatbots bij een algemeen publiek.
In dit geval neem ik de opmerking ook inhoudelijk serieus. Hoe zou je “wederzijds’ in dit geval moeten uitleggen? Ja, met een “functioneel equivalent” – Perplexity zegt het zelf al. Ik vermoed dat het ontvangen van de beloning conform het beloningsmechanisme uit de training er een onderdeel van is. Zou dat alles zijn?
In volgende berichten wil ik die vraag verkennen, en in verband brengen met ruimere vragen over intelligentie. Ik meen dat er een opkomende trend is om zulke vragen in te bedden in de context van sociale organisatie, een society of thought, van zowel natuurlijke als kunstmatige intelligentie.