Hier staan 1000 mensen
Stel: een ziekenhuis gaat een algoritme gebruiken dat een ziekte opspoort. De leverancier belooft "99% accuraat". We testen er 1000 mensen mee. Elke stip hiernaast is één persoon.
De ziekte is zeldzaam
Dit is de stap die bijna iedereen overslaat. Van die 1000 mensen heeft maar 1% de ziekte echt: de 10 rode stippen. De andere 990 zijn gezond.
Hoe vaak iets voorkomt heet de prevalentie. Onthoud dat woord, het wordt de hoofdrolspeler van dit verhaal.
Het algoritme vindt de zieken
Het algoritme is écht goed: van de 10 zieke mensen krijgen ze alle 10 een alarm (de stippen met een groene ring: terecht gevonden). Dat heet de sensitiviteit: het percentage zieken dat de test weet te vinden.
Maar ook 10 gezonde mensen krijgen alarm
99% accuraat betekent ook: bij gezonde mensen gaat het 1% van de keren mis. Dat lijkt weinig. Maar 1% van 990 gezonde mensen is bijna 10 mensen met een onterecht alarm: de stippen met een oranje ring.
Hoe vaak de test gezonde mensen met rust laat heet de specificiteit.
Tel nu alleen de alarmen
We houden 20 alarmen over: 10 terecht (groen), 10 loos (oranje). Krijg je een alarm, dan is de kans dat je écht ziek bent dus geen 99% maar 50%. Een muntje opgooien.
Dát cijfer heet de positief voorspellende waarde (PPV) en het is wat je als arts, patiënt of bestuurder eigenlijk wilt weten.
Zeldzamer = erger
Stel dat de ziekte nog zeldzamer is: niet 10, maar 1 op de 1000 mensen is echt ziek. De test geeft nog steeds ongeveer 10 gezonde mensen per ongeluk een alarm. Maar er is nu maar 1 iemand écht ziek. Er gaan dus 11 alarmen af, en maar 1 daarvan klopt. De rest is loos.
Zelfde algoritme. Zelfde "99% accuraat". Heel andere betekenis.
Zelfde som, ander onderwerp
Vervang "ziekte" en het verhaal blijft staan
Deze rekensom is niet medisch. Overal waar een systeem iets zeldzaams moet vinden, werkt hij precies hetzelfde. Kies maar.
Nu jij
Speel zelf met de cijfers
Schuif aan prevalentie, sensitiviteit en specificiteit en zie direct wat een alarm waard is. De stippen tonen er steeds 1000.
Hoe vaak komt het echt voor? Een zeldzame ziekte, een drone, een fraudegeval. Van 1 op 10.000 tot 1 op 2.
Hoeveel procent van de échte gevallen vindt het systeem?
Hoeveel procent van de niet-gevallen blijft terecht met rust?
Kans dat een alarm klopt (positief voorspellende waarde)
Kans dat "niets gevonden" klopt (negatief voorspellende waarde)
10 echte gevallen · 10 terechte alarmen · 10 loze alarmen · 0 gemist
De les
Vraag nooit alleen naar accuracy
Vraag naar sensitiviteit, specificiteit én prevalentie in jouw situatie. Dat is precies waar Manava organisaties mee helpt voordat een algoritme de praktijk in gaat.
Neem contact op