Checklist om medische apps te beoordelen
Het Julius Centrum van het UMC Utrecht is onderdeel van een grote internationale onderzoeksgroep die een checklist heeft ontwikkeld om rekenmodellen, die de kans op ziektes of sterfte voorspellen en vaak achter medische apps of websites zitten, op hun kwaliteit en effectiviteit te beoordelen. Op dit moment bestaan er meer dan honderdduizend medische apps, en is het voor gebruikers en zorgverleners niet duidelijk welke voorspellende modellen en apps betrouwbaar zijn.
Veel medische rekenmodellen voorspellen de kans op ziektes en sterfte op basis van allerlei karakteristieken zoals leeftijd, geslacht, symptomen en testuitslagen. Zo bestaat er bijvoorbeeld een model dat de kans inschat of een zwangere vrouw tijdens haar zwangerschap complicaties krijgt. Of een model dat de kans berekent dat een veertigjarige binnen tien jaar suikerziekte ontwikkelt, of de kans dat een man met prostaatkanker binnen twee jaar overlijdt wanneer hij wel of juist niet behandeld wordt. Deze kansen gebruiken zorgverleners vervolgens om leefstijl- en voedingsadvies- of behandelbeslissingen te nemen. Ook vormen deze voorspelmodellen de basis van de tienduizenden medische apps en websites die voor iedereen toegankelijk zijn via het internet.
Wildgroei
“De afgelopen decennia vond een wildgroei aan dit soort klinische voorspelmodellen en medische apps plaats. Zorgverleners, patiënten en andere gebruikers zien nu door de bomen het bos niet meer,” stelt prof. dr.
van het
van het UMC Utrecht. Hij is één van de initiatiefnemers van de checklist. Moons: “Er bestaan naar schatting meer dan honderdduizend medische voorspelmodellen. We hebben recent nog aangetoond dat er maar liefst meer dan driehonderdvijftig modellen bestaan om alleen al het optreden van hart- en vaatziekten bij gezonde mensen te voorspellen. En dit is een voorzichtige schatting; het zijn er waarschijnlijk veel meer. Zorgverleners hebben geen idee welk model het meest geschikt is in welke situatie.”
Toepassing
De nieuwe checklist
bestaat uit twintig items. Deze items behandelen verschillende aspecten, zoals het minimale aantal proefpersonen waarop is getest én of de gegevens op adequate wijze zijn gedefinieerd, gemeten en verzameld. Maar ook of de aspecten op de juiste wijze met statistische technieken zijn gecombineerd, geanalyseerd en gerapporteerd. Moons: "Dat moet allemaal kloppen en op wetenschappelijk verantwoorde wijze zijn gebeurd. Voor de meerderheid van de tienduizenden modellen in omloop weten we dat niet echt. Door middel van deze checklist kunnen onderzoekers het gepubliceerde of gebruikte voorspelmodel goed controleren, reproduceren en zelfs eventuele fraude in de rapportage beter opsporen. Maar belangrijker nog: beter beoordelen hoe een voorspelmodel toegepast kan worden in de praktijk.”
Gevaar
Gebrekkig ontwikkelde en geteste voorspelmodellen kunnen nadelig zijn voor patiënten en burgers, zegt Moons. “Het kan leiden tot het verkeerd inlichten van patiënten en hun familie over bijvoorbeeld het beloop van hun ziekte, tot het verkeerd voorschrijven van medicijnen, of juist het onterecht afzien van de behandeling van patiënten. De kans op hart- en vaatziekten binnen tien jaar, bijvoorbeeld, bepaalt of je patiënten langdurige cholesterol- of bloeddrukverlagers moet geven. Deze kansschatting gebeurt door zo’n klinisch voorspelmodel en dat moet dus wel een goed voorspelmodel zijn. Zeker als deze voorspelmodellen in medische apps of websites terecht komen die voor iedereen toegankelijk zijn; dan moet men er van uit kunnen gaan dat deze voorspelmodellen juist zijn. En dat weten we nu vaak niet.”
Als onderzoekers, gebruikers, zorgverleners en medische richtlijnontwikkelaars deze checklist gaan gebruiken, wordt het sneller duidelijk of, en hoe, bruikbaar voorspelmodellen echt zijn. Moons: “Het zal de invoering en acceptatie van goede modellen vergroten en een schifting creëren met slechte of slecht onderbouwde voorspelmodellen. Dat is hard nodig, want we zien deze voorspelmodellen steeds vaker lukraak op het internet of in medische apps verschijnen waarna ze voor iedereen beschikbaar zijn. Voor publicaties over bijvoorbeeld medicijnonderzoek en diagnostische testen bestaan al dergelijke checklists.”
Meer informatie over digitale zorg in het UMC Utrecht
