INTROMUZIEK
TJERK TIMAN: Er bestaan genoeg uitdagingen rondom het vertalen van ethiek naar de praktijk...
voor de data scientist.
Zijn er nou specifieke zaken aan AI die zo anders zijn...
dan bijvoorbeeld klassieke software engineering als het gaat om ethische dilemma's...
kwaliteitscontrole, het nadenken over hoe je een dienst opbouwt.
Zou u daar iets over kunnen zeggen?
REMCO BOERSMA: Een belangrijk verschil met klassieke softwareontwikkeling...
is dat AI natuurlijk veel meer gebruik maakt van de data en de historie die in die data opgesloten ligt.
Dus het belang om kwaliteitscontroles op die dataset te doen...
is die dataset niet te klein, zit er geen bias in die dataset...
is die dataset wel geschikt voor het doel waarvoor ik het in wil zetten...
die vraagstukken komen veel nadrukkelijker naar boven dan bij klassieke ontwikkeling...
waar je misschien een applicatie genereert die juist data moet inbrengen...
vanuit de professionele medewerker.
Dus de oriëntatie van AI is denk ik anders inderdaad dan klassieke ontwikkeling...
juist vanwege dat aspect.
TJERK: En hoe zit het aan de modelkant? De algoritmische kant?
Zijn daar hele grote verschillen in bijvoorbeeld het feit dat een nieuw risico is...
dat modellen kunnen gaan afdrijven, op een gegeven moment, bijvoorbeeld?
Dus de kwaliteitscontrole en de zekerheid...
hoe zeker kun je van je model zijn om daar een beslissing op te maken?
Zijn dat ook zaken die actief terugkomen bij de data scientist?
REMCO: Ja, dat zou in ieder geval moeten, uiteraard.
De feedbackloops of het hertesten...
op het moment dat data of functionaliteit wordt gewijzigd...
is ontzettend belangrijk.
In de klassieke software zie je dat iets minder. Een nieuwe release wordt wel technisch getest...
maar misschien minder op de aspecten dat een model volledig kan afdrijven...
van het doel wat je ermee voor ogen had en ook de kwaliteit die daardoor ontstaat.
Dus dat is denk ik belangrijk om daar goed rekening mee te houden.
TJERK: En hoe wordt daar nu rekening mee gehouden in de praktijk? Is daar al iets voor?
REMCO: In ieder geval zeggen we dus dat er hertest moet worden...
op een moment dat een van die aspecten verandert.
Of dat de dataset verandert of dat de software wordt aangepast om een of andere reden.
Om het model te hertrainen, dat proberen we in de cyclus in te brengen.
Dat je dat op regelmatige basis doet...
en de uitkomsten daarvan test, natuurlijk. Of die nog steeds voldoen aan wat je beoogt.
TJERK: Zijn er genoeg van dat soort testdatasets om dit te doen?
Of is dat... Is dat allemaal in place?
Denk je van, dit kunnen we doen, of liggen daar nog uitdagingen?
REMCO: Nou, dat is...
Het juist verkrijgen van de data is altijd lastig.
Het zit vaak opgesloten in applicatiesilo's...
dus het is al ingewikkeld om al die data ter beschikking te krijgen voor je data science-kant.
Maar op een moment dat dat gelukt is, denk ik dat die sets beschikbaar zijn.
Daar is wel het vraagstuk, natuurlijk: Hoe gaan we om met bestaande regelgeving...
als Archiefwet, verjaringstermijnen et cetera.
Dus je krijgt ook het hele spectrum nog eens een keer mee...
als je die datasets wilt herbruiken om je model te hertrainen.
Dat je natuurlijk met alle vaste wetgeving ook rekening moet houden.
Wat het soms nog eens een keer extra compliceert.
TJERK: Is er ook, naast dat jullie dit zelf allemaal doen en snappen dat die vragen er zijn...
is er ook een bepaalde manier of mate van toezicht? Hoe is dat eigenlijk ingeregeld?
Is er een externe partij die bijvoorbeeld af en toe komt kijken?
REMCO: Op dit moment is dat beperkt. We doen veel collegiale toetsing.
En toetsing natuurlijk...
in de scrum- of agile-wijze die vaak gehanteerd wordt om die toetsing te doen.
Dat we echt externen daar nog eens een keer aanvullend naar laten kijken...
gebeurt op dit moment nog beperkt.
Er is wel meer politieke en maatschappelijke druk natuurlijk om dat te doen...
om de Autoriteit Persoonsgegevens die rol te geven of een andere instantie.
Capaciteitstechnisch is dat natuurlijk een ingewikkeld stuk.
Of er voldoende capaciteit is om dat te kunnen doen.
Dus op dit moment is dat nog beperkt.
OUTROMUZIEK