Begrijpen AI-taalmodellen wat ze lezen?

Drożdż onderzocht of taalmodellen begrijpen wat ze lezen door 64 mensen en 16 taalmodellen korte verhalen voor te leggen waarin voorwerpen van plek veranderen. Kunnen ze bijvoorbeeld bijhouden dat een doos leeg is als het enige voorwerp eruit wordt gehaald, zonder dat dit ze expliciet wordt verteld?

Verder kijken dan hoe overtuigend tekst klinkt

Uit haar onderzoek bleek dat mensen beter waren in het rechtstreeks benoemen van de uiteindelijke situatie, terwijl taalmodellen beter konden bepalen welk vervolg logisch bij een verhaal paste. Ook hadden de modellen minder moeite met ingewikkeldere verhalen, al maakten ze in sommige situaties dezelfde fouten als mensen. Het onderzoek wijst erop dat taalmodellen informatie over de beschreven wereld bijhouden, maar dat niet op dezelfde manier doen als mensen. Uit het onderzoek van Drożdż blijkt dus dat voor de beoordeling van de betrouwbaarheid van deze modellen verder gekeken moet worden dan hoe overtuigend hun teksten klinken.

Dit waren de andere winnaars

De andere winnaars van de UvA-scriptieprijs 2026 waren Anna Schaminée (ACTA), Dominika Karaszewska (Geneeskunde), Yente Tak (FdR), Hannah Moana Bach (EB), Kai Tjong-Ayong (FGw) en Rogier Schipperheijn (FNWI). Zij ontvangen ieder een prijs van 1.000 euro voor hun scriptie.