Hieronder een aantal stellingen met betrekking tot AI, en hoe ETZ en Aigency daar naar kijken in het kader van Wetgeving en Beleid.
Patiënten moeten expliciet toestemming geven voor inzet van AI in hun zorgtraject
Uitleg
Toestemming geven is voor veel gegevensverwerking nodig, denk bijvoorbeeld aan de dagelijkse vraag of een website cookies op mag slaan. Ook in de zorg wordt bijvoorbeeld gevraagd of verschillende zorgverleners jouw data mogen delen met elkaar. Deze stelling stelt de vraag of vergelijkbare toestemmingen ook verleend moeten worden als AI wordt gebruikt in een zorgtraject.
ETZ: Oneens
AI is niet meer weg te denken uit ons leven. Het zit in Google Maps, in je telefoon en apps die je gebruikt, in alle webwinkels, etc. Het wordt daarom ook een integraal onderdeel van de zorg. Net zoals dat we een aantal jaar geleden overgingen van een papieren systeem naar een digitaal systeem, is integratie van AI onvermijdelijk. Voor patiënten is het belangrijk en wettelijk verplicht om te weten hoe een medische beslissing tot stand is gekomen (informed consent); de arts moet dus altijd uitleggen aan de patiënt hoe hij of zij tot een diagnose of behandeling is gekomen, ook als hij AI gebruikt. Voor inzet van AI buiten medische beslissingen is het niet verplicht, maar wel wenselijk dát patiënten weten dat AI gebruikt kan worden. Om die reden zorgen we als ETZ dat we hier pro-actief informatie over delen, zoals via de AI FAQ op onze website en verschillende media kanalen. Wij zorgen als ETZ dat we AI op verantwoorde wijze gebruiken: patiënten kunnen dus vertrouwen dat hun informatie veilig is en blijft, ook bij inzet van AI. Er is dus geen sprake van het verlenen van individueel toestemming voor gebruik van AI door patiënten, en ook kan een patiënt niet eisen dat er geen AI gebruikt wordt. Net zoals dat een patiënt niet kan eisen dat we weer op papier gaan werken. Het belangrijkste is dat we zorgen dat we AI zorgvuldig inzetten, en we patiënten hiervan zo goed mogelijk op de hoogte stellen.
Het is belangrijk om in ogenschouw te nemen dat AI wordt ingezet om de zorg houdbaar te houden; zonder behulp van technologie zijn we in Nederland niet in staat om iedere patiënt die zorg nodig heeft, deze te geven. Dankzij inzet van technologische middelen zoals ook het Elektronisch Patiëntendossier en AI, kunnen we er voor zorgen dat de zorgprocessen zo efficiënt en goed mogelijk verlopen waardoor op het moment dat iemand ziek wordt, er een zorgverlener beschikbaar is om die patiënt te helpen.
Aigency: Oneens
Patiënten moeten altijd goed geïnformeerd zijn, maar expliciete toestemming voor elke vorm van AI in het zorgproces is in de praktijk niet haalbaar of wenselijk. Vergelijk het met software of apparatuur: zolang het voldoet aan alle ethische, technische en wettelijke standaarden, mag het onderdeel zijn van reguliere zorg.
Regelgeving voor AI in de zorg moet soepeler
Uitleg
Regelgeving voor toepassing van AI binnen de zorg is streng. Dat begint al bij de stevige bescherming op privacy en data, waardoor training van modellen complex is. Implementatie van AI modellen kent ook strenge regels, mede omdat dit onder de Medical Device Regulation valt. Deze stelling stelt ter discussie of de bestaande regels mogelijk niet te streng zijn en daarmee innovatie en vooruitgang in de weg staan.
ETZ: Oneens
Niet soepeler, maar duidelijker! Momenteel leidt de onduidelijkheid tot veel verschillende interpretaties van de verschillende wetgeving, zelfs binnen dezelfde organisatie, bijvoorbeeld tussen de functionaris gegevensbvescherming (FG) en de juridische afdeling. Dat leidt veelal tot een defensieve benadering, want men wil liever geen risico nemen. Een concreet voorbeeld is het onterecht bestempelen van AI-toepassingen als medisch hulpmiddel onder de Medical Device Regulation, waardoor implementatie van administratieve AI-toepassingen onnodig vertraagt, of het gebrek aan duiding in de AI Act over hoeveel kennis zorgverleners nodig hebben, waardoor organisaties vaak in twijfel blijven over adequate scholing. Daarom hoopt het ETZ op meer verduidelijking vanuit de overheid over de interpretatie van wetgeving en moedigen wij samenwerkingen aan om hierover consensus te verkrijgen met elkaar.
Aigency: Eens
Wet- en regelgeving moet AI niet frustreren, maar begeleiden. Momenteel ervaren we dat regelgeving soms te strikt, traag of onduidelijk is, wat de vertaalslag van succesvolle pilots naar praktijk belemmert. Wij pleiten voor slimme regelgeving: streng waar nodig, ruimte gevend waar mogelijk.
De zorgverlener is altijd eindverantwoordelijk bij inzet van AI in het zorgproces
Uitleg
Op dit moment is een zorgverlener altijd eindverantwoordelijk voor het zorgproces. Maar wat als technologie een grotere rol krijgt in het zorgproces? Is het houdbaar om altijd een mens in de keten te behouden?
ETZ: Eens
Een patiënt heeft een behandelrelatie met een zorgverlener, niet met een computer of AI. Daarom moet de zorgverlener verantwoord omgaan met de inzet van AI in het zorgproces, of het nu gaat om medische beslisondersteuning, logistieke of administratieve ondersteuning. De zorginstelling draagt de verantwoordelijkheid om te waarborgen dat de gebruikte AI-toepassingen zijn gevalideerd, en dat deze voldoen aan alle standaard veiligheids- en kwaliteitseisen die gesteld worden aan iedere technologie of apparaat die wordt gebruikt in het zorgproces. Wettelijk is het zo dat op het moment dat AI onderdeel is van de behandelrelatie, dat de zorgverlener altijd verantwoordelijk moet zijn voor de inzet daarvan. Bij medische beslisondersteuning betekent dat dat de inzet van AI onderdeel moet zijn van het informed consentgesprek dat de zorgverlener standaard al voert in het behandeltraject. Voor administratieve of logistieke ondersteuning is dat natuurlijk niet nodig, maar moet de zorgverlener zich bewust zijn van de valkuilen omdat hij wel verantwoordelijk blijft voor correct en verantwoord gebruik. Daarom is bevordering van AI geletterdheid heel belangrijk in de zorg.
Aigency: Eens
De zorgverlener is en blijft degene die de afweging maakt, ook als AI input levert. AI mag ondersteunen, maar nooit zelfstandig bepalen. Juist omdat AI soms ingewikkeld of ‘black box’ is, moet de mens de controle en verantwoordelijkheid houden. Dat is essentieel voor vertrouwen en veiligheid.
Als AI niet uitlegbaar is, mag het niet ingezet worden in de zorg
Uitleg
Met uitlegbaarheid wordt bedoeld dat kan worden aangetoond op basis van welke onderliggende datapunten een algoritme een beslissing neemt en welke stappen worden gezet in het proces. Als er sprake is van een black box algoritme en daarmee niet inzichtelijk op basis waarvan een beslissing is genomen, mag volgens deze stelling het algoritme niet in de zorgcontext worden toegepast.
ETZ: Oneens
Niet alle AI-modellen hoeven volledig uitlegbaar te zijn om effectief in de zorg te worden ingezet. Sommige niet-interpreteerbare modellen kunnen zelfs betere prestaties leveren dan hun uitlegbare tegenhangers. Hoewel uitlegbaarheid belangrijk is voor het opbouwen van vertrouwen bij zorgverleners, kunnen complexe, niet-uitlegbare AI-modellen nog steeds waardevolle en betrouwbare resultaten opleveren waardoor de kwaliteit van zorg verhoogd wordt. Het zou zonde zijn om deze modellen niet te benutten.
Uitlegbaarheid is van belang, omdat zorgverleners moeten begrijpen hoe AI-modellen tot hun beslissingen komen. Dit begrip is essentieel voor het vertrouwen in de resultaten en aanbevelingen van deze modellen. Zorgverleners moeten kunnen beoordelen of de uitkomsten betrouwbaar zijn en verantwoord kunnen worden toegepast in de patiëntenzorg. In situaties waarin niet-uitlegbare modellen ingezet worden, is het cruciaal dat zorgverleners en patiënten verzekerd kunnen zijn dat de validiteit en betrouwbaarheid van de uitkomsten ook zonder volledige transparantie gewaarborgd worden.
Het belangrijkste is dat AI-modellen worden ingezet die gevalideerd zijn en waarvan de betrouwbaarheid kan worden gegarandeerd, ongeacht hun mate van uitlegbaarheid. Daarom is het essentieel om zorgverleners te ondersteunen in hun begrip van AI-gedreven inzichten en hen te trainen in het omgaan met zowel uitlegbare als niet-uitlegbare modellen.
Aigency: Oneens
Hoewel uitlegbaarheid belangrijk is, mag het geen absolute voorwaarde zijn voor álle AI-toepassingen. De context bepaalt wat nodig is. Bij kritieke en klinische beslissingen is uitleg noodzakelijk naar onze mening, onder andere om vertrouwen te vergroten. Dat gebeurd dan onder andere omdat de zorgverlener kan inzien op basis waarvan een beslissing is gemaakt, en daarmee kan beslissen of er sprake is van causatie of correlatie. De rede dat wij het toch oneens zijn met deze stelling is dat bij onder andere administratieve AI de focus mag liggen op het resultaat. Daarbij hoeft de zorgverlener niet te snappen hoe of waarom een bepaalde samenvatting is gemaakt omdat daar geen meerwaarde in zit.
AI mag alleen worden ingezet als het wetenschappelijk bewezen effectief is
Uitleg
Voor bijvoorbeeld medicijngebruik is het heel normaal in de zorg dat de werking daarvan wetenschappelijk wordt bewezen. Deze stelling stelt dat AI toepassingen op eenzelfde manier benaderd moeten worden voordat een algoritme mag worden toegepast.
ETZ: Oneens
Het ETZ stelt dat wetenschappelijk aangetoonde effectiviteit geen vereiste is voor de implementatie van AI, terwijl aantoonbare veiligheid dat wél is. AI-toepassingen dienen in zorginstellingen pas te worden geïmplementeerd wanneer zij voldoen aan strikte veiligheidseisen. Onder veiligheid wordt verstaan dat patiënten, privacy, patiëntgegevens en medische informatie adequaat beschermd zijn, zorgverleners voldoende geïnformeerd zijn over het gebruik van de AI-tool, en de output – zoals AI-samenvattingen – van hoogwaardige kwaliteit is. Veiligheid omvat al deze aspecten.
Effectiviteit houdt in dat een toepassing daadwerkelijk bijdraagt aan bijvoorbeeld tijdsbesparing, kostenreductie of kwaliteitsverbetering van zorg. Het meten van effectiviteit is complex en vereist gezamenlijke inspanning. Een eis tot vooraf wetenschappelijk onderbouwde effectiviteitsresultaten zou de implementatie van reeds als veilig beoordeelde AI-tools aanzienlijk vertragen. Daarom hanteert het ETZ de strategie om veilige AI-tools te implementeren en de effectiviteit daarvan tijdens en na de implementatiefase zorgvuldig te monitoren.
Aigency: Oneens
Het antwoord oneens op deze stelling heeft deels met een definitiekwestie te maken. In de optiek van Aigency is het toepassen van wetenschappelijk bewijs op alle AI in de zorg te sterk, hier valt namelijk ook AI gebruik in administratie onder. De gebruikte AI moet dan natuurlijk wel dusdanig zijn getest dat bekend is dat bijvoorbeeld samenvattingen accuraat zijn en dat de beoogde tijdsbesparing wordt gerealiseerd, maar dat is niet hetzelfde als ‘wetenschappelijk bewezen effectief’. Voor klinische beslisondersteuning zou een wetenschappelijke onderbouwing al meer op zijn plek zijn, echter zijn er aan dit soort toepassingen al veel regels gebonden, zoals MDR. Nog meer bewijzen toevoegen hindert dan meer dan dat het aan veiligheid toevoegt. Het belangrijkst is dat de werking, beperkingen en risico’s goed begrepen zijn, en dat toepassing verantwoord gebeurt.
Iedere zorgverlener moet verplicht AI geschoold zijn
Uitleg
Met deze stelling bedoelen we dat zorgverleners met direct patiëntencontact die AI gebruiken verplicht geschoold moeten zijn. Scholing omvat basiskennis over AI, aangevuld met gerichte training per toepassing, zodat men veilig met AI kan werken in de zorg. Dit heeft een wettelijke basis in artikel 4 van de AI Act.
ETZ: Eens
Het ETZ is van mening dat iedere zorgverlener over voldoende kennis van AI moet beschikken, en biedt dan ook een opleidingsprogramma aan alle medewerkers. Volgens de AI Act, artikel 4, is het wettelijk verplicht dat zorgverleners die met AI werken, geschoold zijn in relevante concepten en toepassingen. Een goede opleiding helpt zorgverleners ook om de mogelijkheden en beperkingen van AI te begrijpen, wat hen in staat stelt weloverwogen beslissingen te nemen over de inzet in de patiëntenzorg.
Aigency: Eens
AI is geen niche meer, maar een onderdeel van moderne zorgverlening. Iedere zorgprofessional moet basiskennis hebben over wat AI kan, wat de beperkingen zijn, en hoe uitkomsten geïnterpreteerd moeten worden. Alleen zo kunnen we AI veilig, effectief en verantwoord inzetten en behouden we menselijk maatwerk.