over_mijn_PhD.txt

Deze week liep ik mee op de plek waar het allemaal echt gebeurt: daar waar het grootste overheidsarchief van Nederland ligt. Alles komt er voorbij, van gedetailleerde analyses over buitenlands beleid tot de factuur van een bureaustoel voor een organisatie die al twintig jaar geleden is opgeheven. De hamvraag: bewaren of vernietigen?

Figuur: Overheidsarchief in Winschoten.

Over die vraag buigen de archiefbewerkers van de locatie in Winschoten zich. Wat wordt bewaard gaat naar het Nationaal Archief (waar je het ook als burger kunt inzien), wat wordt vernietigd verdwijnt ook echt voorgoed. Om die afweging te maken bestaan er lijsten die per type overheidsdocument beschrijven of het bewaard moet worden — en zo ja, hoe lang. Jaarlijks worden vele ‘kilometers’ langs die meetlat gelegd, grotendeels nog met de hand.

Figuur: De archieflocatie in Winschoten.

Figuur: Ik wilde me laten inwerken alsof het mijn eerste dag als archiefbewerker was.

De meeste dossiers spreken voor zich, maar vaak is niet meteen duidelijk of iets bewaard moet blijven. Dat vraagt om specifieke kennis: inzicht in waar documenten ooit voor bedoeld waren, of waarom ze later opnieuw relevant kunnen worden. Veel medewerkers zitten al tientallen jaren in het vak en kennen de overheid door en door. En het is ook lastig: hoe bepaal je vandaag wat over twintig jaar maatschappelijke waarde heeft? Inmiddels heb ik genoeg anekdotes verzameld van belangrijke dossiers die door een slimme ingeving van een archiefmedewerker op een haar na zijn gered van de versnipperaar.

Juist dit type domeinkennis laat zich lastig in regels of algoritmes vangen. Tegelijkertijd groeit de druk om te automatiseren: de achterstanden zijn fors; honderden kilometers archief wachten nog op bewerking. Dat is een lastig spanningsveld. Hier raakt automatisering immers direct aan de openbaarheid van bestuur, verantwoording door de overheid en uiteindelijk aan ons collectieve geheugen — aan dat wat we als samenleving willen bewaren. Daarom vind ik het belangrijk om te begrijpen hoe archiefwerk in de praktijk wordt gedaan: om uiteindelijk de modellen te kunnen ontwikkelen die domeinkennis juist als uitgangspunt nemen, en om (gevraagd, maar vooral ook ongevraagd!) te adviseren over de keuzes die daarbij worden gemaakt.

Leerzame en nuttige dagen dus. En natuurlijk gewoon een bijzonder boeiende omgeving voor iemand die graag oude, vaak nog handgeschreven documenten door zijn handen laat gaan. Hier kun je de geschiedenis namelijk nog gewoon met je vingers voelen, voorlopig althans.

Figuur: De prachtige raadszaal van de gemeente Oldambt, in Winschoten. Daar mocht ik meedenken over samenwerkingen die de regio Oost-Groningen verder kunnen ontwikkelen.

We maken als maatschappij namelijk een ingrijpende transformatie door. Bij de politie, in de journalistiek, in voedselfabrieken en in talloze onderdelen van de gezondheidszorg; overal speelt technologie een steeds grotere rol. Voor het voorspellen van vluchtroutes, om te zien waar lezers hun aandacht op richten, of om industriële mengmachines op elkaar af te stemmen, zelfs om hartaanvallen te kunnen voorspellen!

Allerlei collega-promovendi die zich bewegen tussen onderzoek doen en de praktijk kwamen vandaag bijeen op het hoofdkantoor van Booking.com in Amsterdam (ook dat bedrijf maakt natuurlijk als geen ander gebruik van algoritmes). Om het te hebben over hoe je als onderzoeker samenwerkt met organisaties, en hoe je daarmee vervolgens impact kunt maken (twee dingen die binnen de overheid zeker niet vanzelfsprekend zijn). Ook daarom is het ICAI-programma zo bijzonder: als PhD'er is het altijd belangrijk om een netwerk op te bouwen, maar doorgaans doe je dat vaak binnen de eigen bubbel van het onderzoeksveld... hier reikt die bubbel over de hele linie van de samenleving.

Figuur: Van het stemlokaal naar het kantoor van Booking.

Figuur: Vóór mijn PhD liep ik bijna een jaar stage bij dit lab van de Politie.

De regen klettert tegen de ramen. KNMI geeft ‘code geel’. De gure wind blaast water in mijn gezicht terwijl ik naar de tramhalte loop. Tram 26, Zuiderzeeweg - CS. Ik haal de trein van 6.52 net. Oktober vind ik de mooiste maand van het jaar. In de trein lees ik De Groene Amsterdammer, de ‘verkiezingsspecial’. Overmorgen zijn de verkiezingen.

Dat was de reis van vanochtend naar Nijmegen. Naar de Radbouduniversiteit, naar DIR, een Nederlandse mini-conferentie over Information Retrieval. Over zoekmachines dus, of over machines die antwoorden geven op vragen, en over dat soort systeempjes die je volgende Netflix (kijk ik nooit)-serie aanbevelen (alhoewel men er — geheel in de traditie van de wetenschap — discussie over voert of dat laatste eigenlijk niet aan een ander domein toebehoort). In dit soort gezelschappen voel ik me af en toe een buitenstaander, want mijn focus ligt weer vooral op taal en taalkunde (en geheel naar vorm: dat is toch echt een ander gebied).

Na afloop eet ik nog wat met mijn zusje; ze studeerde in Nijmegen en woont er nu ook. Door haar leerde ik goed academisch schrijven, dat kan ze namelijk als de beste (ze is nu biomedisch wetenschapper) en wie weet heeft het ook een rol gespeeld in mijn keuze om een PhD te gaan doen.

Figuur: Entree op de Radbouduniversiteit.

Dichterbij gaat het niet worden. Pal tegenover mijn studentenkamer, aan de overkant van het water, vond vandaag in de marmeren hallen van het Koninklijk Instituut voor de Tropen (waar ik met mijn museumkaart toch al graag kom) de AI Thesis Fair plaats. Een soort beurs waarop masterstudenten zich oriënteren op hun scriptie. Dat betekende bijna non-stop gesprekken voeren, want ons lab bleek bij de studenten erg gewild. Gesprekken met mensen die zich met een goed idee in willen zetten voor de maatschappij geven altijd energie. De internationale samenstelling van de populatie studenten was daarbij een welkome dimensie, velen wilden het onderzoek namelijk voorbij de Nederlandse casus tillen.

Figuur: Studenten bij ons lab.

Figuur: Mijn uitzicht op het KIT op een willekeurige herfstochtend.

TK2025 brengt in ieder geval een wildgroei aan AI-stemwijzers en -verkiezingsprogramma-samenvatters met zich mee. Een hoop enthousiaste pogingen om het democratisch proces voor kiezers toegankelijker te maken, maar ook een hoop risico's. Het is bij deze verkiezingen makkelijker dan ooit om een taalmodel uit de kast te trekken om je stem mee te bepalen, maar onderzoek op onderzoek laat zien dat die modellen vaak een duidelijke politieke voorkeur hebben.

Hoe kunnen we ervoor zorgen dat technologie de democratie versterkt in plaats van verzwakt? Die vraag stond vandaag centraal bij de Democracy Accelerator van de Open State Foundation. Met z'n allen — techneuten, denkers, enthousiastelingen — een dag doorbrengen binnen de muren van het hoofdkwartier, ooit het thuis van strenge officieren. Met de herfst die langzaam invalt zijn de knusse kamertjes op het Amsterdamse Marineterrein een mooi decor. Ook mensen van de Kiesraad en het SIDN-fonds waren er vandaag bij aanwezig.

Mijn collega Maik (en zijn team) ‘wonnen’ met het sprekende idee van een ministerie van context.

Stel je voor: je hebt een overheidsdocument en je wilt er andere documenten bij vinden die er op lijken. Als ambtenaar bijvoorbeeld, omdat je over een vergunning moet beslissen en daarbij mee wilt nemen hoe er is gehandeld in vergelijkbare situaties (... iets met een consistente overheid). Of als journalist, omdat je onderzoekt in welke gevallen eenzelfde regeling is toegepast.

Wat bepaalt dan eigenlijk of documenten ‘op elkaar lijken’... is dat tekstuele overeenkomst?

Voorbeeld: een boete. Hoe orden je een stapel verkeers- en andere overtredingen? Op basis van de vormgeving? Leg je die met veel op elkaar lijkende zinnen het dichtst bij elkaar? Of vormt de hoogte van de boete of de reden ervoor de grond van vergelijking? (Heb ik een geluk dat ik in de gangen van het Beatrixpark soms de wegen kruis met Marc van Opijnen, die een heel artikel over dit soort dingen schreef!¹)

Een besluit is het resultaat van het toepassen van wetten. Je zou zelfs kunnen zeggen: de inhoud van een beschikking komt er direct uit voort! Zou je overheidsdocumenten dan ook niet beter vergelijken aan de hand van de wetten die eraan ten grondslag liggen, in plaats van tekstuele overeenkomsten?

Dat is waar ik met mijn eerste project mee bezig ben: de juridische context in de machinerepresentatie van een document inweven. De data die ik daarvoor heb verzameld mocht ik vandaag in Leuven presenteren, op de 35^e conferentie over computationele taalkunde in Nederland. De paper komt er snel aan!

Figuur: Interesse vanuit de Gemeente Amsterdam (ook te gast).

Dat werd een soort tweede aftrap van ons lab en met de mooie herinnering aan het beeld van een professor in de archiefwetenschappen die op dat landgoed tot in de late uurtjes onder een grote boom gepassioneerd verhalen over het academische leven vertelde laat ik de foto's verder voor zich spreken.

Figuur: Op het landgoed van de ISVW.

Een reeks colleges voor promovendi die naast hun onderzoek aan de universiteit ook bij een bedrijf of overheidsorganisatie werken. Die twee werelden versterken elkaar: met je onderzoek wil je impact maken, de praktijk verweven met de wetenschap. Veel van mijn ICAI-collega's werken daarom in ziekenhuizen of bij mediabedrijven, maar er zijn ook labs die bijdragen aan de energietransitie of aan innovatie in de agrarische sector.

Balanceren tussen die twee werelden brengt natuurlijk ook uitdagingen met zich mee; beide kanten van het verhaal hebben vaak andere verwachtingen, doelen en werkprocessen. Ook bij de organisatie waar ik werk is het concept nieuw, wat af en toe voor hobbels zorgt. Dat maakt zo'n zomerschool extra waardevol — ervaringen delen en daarmee ook van elkaar leren.

De eerste dag eindigde met pizza's en een boottocht over de Amsterdamse grachten. We voeren vlak langs de plek waar ik zelf nog woon, in mijn studentenkamertje aan de Alexanderkade!

Figuur: Mijn woning, maar dan in de herfst.

Want als een algoritme in díe wereld een beslissing neemt, wil je wel kunnen uitleggen hoe die beslissing tot stand is gekomen... in door mensen te begrijpen termen. Dat is uiteindelijk ook gewoon een wettelijke verplichting¹ – besluiten van de overheid moeten nu eenmaal gemotiveerd worden en aan juridische grondslagen voldoen.

Collegeblokjes in de aanslag, maar we deden anders: zelf een machine learning-model trainen op openbare belastingdata. Met dat verhaal wilde ik de noodzaak van uitlegbaarheid aanstippen, het ging namelijk al snel de verkeerde kant op met die modellen. De boodschap: denk eerst na over de processen die je wilt automatiseren; hoe die in elkaar steken en hoe je de uitvoering ervan kunt evalueren. Bouw dan pas een model met de domeinkennis die daar uit voortkomt. En zoals mijn ‘eendagsleerlingen’ al konden vernemen uit het leeswerk dat ik had opgegeven², hoeft dat niet altijd ingewikkeld te zijn. De eeuwenoude beslisboom is soms nog het meest accuraat, én interpreteerbaar.

Na negentig minuten ontvouwde zich een levendige discussie onder de rijksambtenaren. Ze stelden scherpe vragen en gingen daarmee vanuit hun diverse achtergronden uit zichzelf in op belangrijke twistpunten: welke AI-modellen geschikt zijn voor de overheid, wat kunnen we in deze context überhaupt met deep learning, en hoe moeten modellen omgaan met de ruimte voor interpretatie die wetten bewust in zich laten?

Daar ben ik best een beetje trots op, want dat was precies de insteek van vandaag.

Figuur: In een zaaltje op het Beatrixpark.

Toen ik vroeger driemaal weeks al om 6:40 op Roosendaal de trein naar Amsterdam moest nemen om op tijd te zijn voor de lessen taalvaardigheid Russisch, wist ik al: woordjes leren doe je nergens zo lekker als in de trein. Dus neem ik ook nu nog eens een Interrail-kaart om afstanden door Europa af te leggen, want ook wetenschappelijke papers lees je nergens beter dan aan je mobiele bureau. Van Amsterdam naar Schotland, Tsjechië of Italië in één dag, en dan weer terug. Bergen, meren, bossen, ja — al die aan je bureau voorbij zoevende landschappen doen wat met je creativiteit. En van treinen hield ik sowieso al, natuurlijk. Ik legde er onder meer de hele overlandroute tussen Amsterdam CS en Singapore mee af.

Figuur: Papers lezen in de trein.

Op dat idee is mijn onderzoek gestaafd en het is ook de reden dat AlgoSoc bestaat. Vlak na mijn avontuur in Italië vond daar de eerste conferentie plaats bij Felix Meritis in Amsterdam.

Een plek waar de werelden samenkwamen die ik met elkaar wil verbinden, met natuurlijk veel bekende gezichten uit Tilburg, plus een paar oprecht geïnteresseerde studenten die vroegen om tips om bij de overheid terecht te komen, altijd leuk.

Vandaag heb ik in Lucca mijn promotietraject symbolisch afgetrapt met een presentatie over een visie op de toekomst: nu ons vakgebied hot topic is en het daardoor experts aantrekt uit alle disciplines van de wetenschap, is het de tijd om hun domeinkennis te benutten om de modellen mee te bouwen waar die populariteit tegelijkertijd ook om vraagt; overheden en andere gevoelige sectoren kijken nu immers ook steeds vaker naar algoritmische besluitvorming.

Met AI-modellen die zijn ontworpen op basis van domeinkennis wordt uitlegbaarheid een natuurlijk gevolg. Modellen waarvan te controleren valt waarom ze tot een bepaald besluit komen. Modellen die verantwoording afleggen! ‘Kunstmatige intelligentie’ wordt zo weer de wetenschap van het abstraheren van de wereld om ons heen: het nadenken over hoe je die wereld kunt modelleren in een vorm die een machine kan verwerken. Daarvoor moet je natuurlijk wel iets over die wereld weten!

De komende jaren neem ik de overheidscontext als voorbeeld en focus ik op het ontwikkelen van de techniek voor modellen die overheidsinformatie op een verantwoorde manier toegankelijk kunnen maken. Daarom loop ik tegenwoordig de helft van de week rond bij diezelfde overheid, om de domeinkennis te vergaren die daarvoor nodig is.

Dat heet de Interdepartementale Post en Koeriersdienst, en de autootjes daarvan rijden de hele dag door Den Haag. Van ministerie naar ministerie, maar ook als een rijksdienst iets op komt halen bij een bedrijf.

Wist ik ook niet! Maar daar kwam ik wel achter toen ik op de archieflocatie in Rijswijk kwam om drie Hogeschoolstudenten te begeleiden. Zo zal er dus ook wel eens met spoed een dossier nodig zijn dat vervolgens met zo'n mooie grijze bus naar de torens in de binnenstad wordt gereden.

(Een Diplomatieke Koeriersdienst bestaat overigens ook.)

Figuur: Bus van de Interdepartementale Post en Koeriersdienst

Net als drie weken geleden woonde ik een commissievergadering bij over de uitvoering van de Wet open overheid (de alombekende ‘Woo’). Kamerleden van verschillende kleuren, experts én burgerorganisaties zijn het in ieder geval over twee dingen eens: het is een zooitje bij de Rijksoverheid (1), en innovatie, of wat men eigenlijk zei: “AI”, kan misschien wel helpen om die zooi een beetje op te ruimen (2). Het is fijn als er naast een wetenschappelijke fundering ook politieke wil is.

En terecht: een heus ‘Woo-dashboard’ laat tegenwoordig zien hoe systematisch de overheid de termijnen om op informatieverzoeken van burgers te reageren overschrijdt. Dat is wat mij betreft meteen een ijkpunt van hoe (slecht) het gesteld is met de informatiehuishouding, en inderdaad, precies daar valt met (verantwoorde) inzet van technologie nog veel winst te behalen. Alle reden om in actie te komen!

Figuur: De entree op het Beatrixpark.

Mijn eerste project gaat namelijk over hoe je overheidsdocumenten zou kunnen representeren om ze door een machine beter te kunnen laten ‘begrijpen’. Onder andere om ze daarmee op een meer intrinsieke manier te kunnen vergelijken, of om ze beter te kunnen vinden. Daarvoor vind ik het noodzakelijk om te weten hoe experts zoeken en vinden. Op basis van díe kennis moet je namelijk een AI-model bouwen, niet andersom. Spreken met beroepsjuristen is één van de manieren waarop ik dat hoop te doen.

Later op dezelfde dag was ik bij het ACOI: een organisatie die bemiddelt tussen burgers en journalisten, en de overheid. Simpel gezegd houdt de overheid namelijk nog vaak informatie achter die eigenlijk openbaar zou moeten zijn. Een stukje activisme van binnenuit dus, een lichtpuntje in een verder star apparaat.

Allemaal juristen, en ik. Het thema spreekt tot de verbeelding: AI in het bestuursrecht. Er waren sprekers van de Gemeente Amsterdam, Pels Rijcken (want wat is AI eigenlijk?) en de AFM. Vooral de presentatie van Ljubiša Metikoš (ook promovendus aan de UvA) viel mij in positieve zin op.

Ik vind het belangrijk dat de overheid (juist de overheid) niet hijgend achter een hype aanloopt, maar het momentum juist benut om na te denken over de processen die ze wil automatiseren. Die inzichten moeten bepalen hoe je technologie vervolgens inricht — niet andersom. In deze tijd is het middel toch nog vaak het doel. Een middel dat bovendien meestal niet doorzichtig genoeg is om een belangrijke rol te spelen in overheidsprocessen. Mijn kijk: bouw de modellen op basis van kennis uit de processen zelf. Explainability by design, want juist van algoritmes wil je na kunnen gaan hoe ze een beslissing maken.

Figuur: Transparantie is een keuze!

Dat is een grote, treurig ogende grijze flat te midden van een verder erg groene universiteitscampus — die ligt namelijk aan de rand van een bos. In die flat huist de Tilburg Law School (‘TLS’), waar ik nu onderdeel van ben. Bij het departement van Public Law and Governance (‘PLG’), om precies te zijn.

Die besprekingen gaan over de juridische dimensie van overheidsdocumenten, vooral beschikkingen, en ze lopen regelmatig uit. Ze gaan over het ontwerpen van metadataschema's (voorbij MDTO), de omgang van burgers met de overheid, over ‘hoe ambtenaren denken’. We filosoferen over hoe algoritmes er uit moeten zien om toeslagenaffaires te voorkomen, en hoe die überhaupt ontstaan. Of we brainstormen met Stavros Zouridis een nieuwe ECLI bij elkaar, de man die zijn tijd ver vooruit was¹.

Gaan we op de campus wat drinken (Tilburg University heeft haar eigen bier met toepasselijke namen als ‘de Pedel’), komen we heel ironisch langs het bord van het universiteitstheater met de naam Black Box. Dat is dus níét hoe we toeslagenaffaires voorkomen. Ik vind het belangrijk dat algoritmes in een overheidscontext uitlegbaar zijn, dat wil zeggen: dat je als mens kunt nagaan waarom een bepaalde input tot een bepaalde output heeft geleid en dat kunt toetsen aan de geldende juridische kaders.

Met een beetje geluk zit er ook nog wat Hans Lindahl in de dag, die man gaf tot zijn emeritaat op 14 februari bijzonder inspirerende sessies in rechtsfilosofie; voor mij compleet nieuwe materie. Het recht gaat over meer dan moeilijke wetteksten en saaie overheidsdocumenten, het gaat over alle regels die we impliciet en expliciet met elkaar hebben afgesproken; over hoe een samenleving functioneert en de reflectie daarvan in normen en waarden. De mechanismen waarmee we met elkaar (en met de natuur) samenleven. Dat realiseerde ik me voorheen nooit zo sterk als ik (dankzij Hans) nu wel doe.

Figuur: De aula in het Cobbenhagengebouw.

Het is NLP for Open Government geworden: het ontwikkelen van taaltechnologie om de grote berg overheidsdocumenten toegankelijker te maken. Een onderwerp dat niet alleen past bij mijn interesse in de maatschappij en politiek, maar ook precies op het snijvlak ligt tussen mijn beide achtergronden (ik wilde iets met ‘mens’ en ‘technologie’ doen, en daarbij graag het tweede ten dienste van het eerste).

Vandaag is mijn eerste werkdag, op de campus van Tilburg University die hopelijk snel zijn herfstkleuren laat zien. Het ruikt hier naar filosofie en naar boomblaadjes, dus ik zit hier wel goed.

Figuur: Eerste werkdag.