Finns det fakta bakom rubrikerna?

Publicerat i Folkvett nr 1/2006.

Nya metoden räddar ditt hjärta! Vanlig medicin kan bli dödsfälla! Larmen och löftena avlöser varandra i mediernas rapporter. Men vad är fakta och vad är spekulation när det gäller nya hot och ny bot? Läkaren och redaktören Ragnar Levi vid Statens beredning för medicinsk utvärdering har gett Folkvett ”hela listan”.

Ena stunden är det livsfarligt med potatischips, nästa stund är det harmlöst. Ena dagen ska jag medicinera mitt höga blodtryck, nästa dag räcker det med att gå ut och jogga. Hälsonyheterna tycks vara lika nyckfulla som aprilvädret. Som läsare, tittare och lyssnare gäller det att hålla huvudet kallt och skärpa sin kritiska blick.

Visst kan det tyckas extra svårt när ämnet är medicin. Många tror att man själv måste vara expert för att kunna ifrågasätta medicinska påståenden. Men så behöver det inte vara. Vad som däremot krävs är dels en aktiv hållning, dels vissa grundläggande kunskaper om vetenskaplig metod.

När man möts av ett påstående om att en ny behandling är effektiv ska det omedelbart väcka skarpa följdfrågor. Några exempel:

1. Hur stor är effekten?
   (spelar den roll?)
2. Jämfört med vad?
   (placebo, likvärdigt alternativ, sämsta alternativ?)
3. För vilka patienter?
   (finns forskning bara på speciell grupp?)
4. Är biverkningarna kända?
   (hos gamla, gravida, barn eller vid samtidiga sjukdomar?)
5. Hur starka är bevisen?
   (användes bra eller dålig metod?)
6. Vilka egenintressen har källan?
   (anställning, sponsring o.s.v.)

En skeptisk läsare, tittare eller lyssnare behöver varken vara cynisk eller misstrogen. Men man håller sina kritiska frågor i bakhuvudet och försöker hitta vetenskapligt tillförlitliga fakta bakom rubrikerna.

Det kan vara till hjälp att tänka kritiskt i fyra steg:

Steg 1. Är påståendet trovärdigt?
Steg 2. Finns vetenskapligt underlag?
Steg 3. Är underlaget starkt eller svagt?
Steg 4. Presenteras resultaten sakligt och korrekt?

Låt oss titta närmare på vad varje moment kan innehålla.

Steg 1. Är påståendet trovärdigt?

En grundfråga när det gäller medicinska uttalanden, till exempel på webben eller i nyheterna, är om källan är tillräckligt kunnig. Det gäller att skilja mellan medicinska experter och medicinska proffstyckare. Det räcker inte alltid att den som uttalar sig är läkare. I dag är den medicinska forskningen så högspecialiserad att det inte är givet att en expert på exempelvis cancer i mag-tarmkanalen också har tillräckligt djupa kunskaper för att kunna uttala sig säkert om gynekologiska tumörer. Med hjälp av webben kan man försöka kontrollera om en källa tidigare har publicerat forskningsresultat på ett aktuellt specialområde. En experts anseende bland kollegor kan ge en fingervisning om hans eller hennes kompetens i en viss fråga.

Man bör vara skeptisk till luddiga formuleringar som ”forskning visar” när journalisten, skribenten eller den som uttalar sig inte kan hänvisa till vilka rapporter som påståendet sägs bygga på. Svepande utlåtanden om medicinska genombrott, lösningen på cancerns gåta eller mirakelmedel mot svåra sjukdomar har sällan täckning.

Tillförlitligheten och allmängiltigheten hos vetenskapliga påståenden bygger på att samma forskningsresultat kan upprepas av olika forskare i olika miljöer. Därför händer det sällan att en enstaka avvikande studie vänder upp och ner på alla tidigare undersökningar som har gjorts på samma område. Visst förekommer det, men för att sådana kovändningar ska vara trovärdiga krävs det starka bevis.

De allra flesta framsteg inom den kliniska medicinen sker i stället gradvis, genom att man långsamt och omsorgsfullt lägger pussel med skärvor av kunskap som har samlats under lång tid av många forskare. Undersökningar av behandlingsmetoder bjuder ytterst sällan på omvälvande överraskningar för forskarna och det finns knappast någon enda effektiv behandling som inte också har biverkningar. Men i enkla, raka nyheter är det ofta enbart nyttan eller enbart riskerna som beskrivs. Inte bådadera.

Något som inte heller alltid framkommer i medierna är att medicinska forskningsresultat ofta innehåller en hel del osäkerhet. Det är forskningens natur. Ett visst mått av osäkerhet går inte att komma ifrån. Ofta måste vi acceptera att forskningsresultat kan vara mångtydiga eller motsägelsefulla. Detta kan förstås vara ett skäl till att experter ena veckan berättar i medierna att en ny behandling är bra, och nästa vecka att den har visat sig göra mer skada än nytta.

Men det kan också vara så att vissa experter som uttalar sig, eller de som citerar experterna, färgas av personliga åsikter och förutfattade meningar. Kampen om makt, pengar och uppmärksamhet finns i alla sammanhang där människor är involverade – inte bara hos industriföreträdare utan också hos forskare och kliniker, myndighetspersoner och patientföreträdare. Frågan om bindningar och lojaliteter kompliceras ytterligare av att vissa patientorganisationer, forskargrupper och lobbygrupper helt eller delvis finansieras av kommersiella intressen. Det gäller att vara medveten om vilka bindningar som finns, snarare än att försöka hitta hundraprocentigt opartisk information. Sådan existerar knappast.

När det gäller sensationella uttalanden i medierna om medicinska genombrott är tumregeln att gedigna forskningsresultat har större tyngd än enstaka personers vittnesbörd.

Checklista. Är påståendet trovärdigt?

• Utlovas ”guld och gröna skogar”?

  Ju fler påstått positiva effekter, desto större anledning att vara skeptisk. Ju starkare påstående, desto starkare bevis kan utkrävas. Se upp med svepande omdömen som ”nytt hopp”, ”hälsorisk”, ”genombrott” eller ”forskning visar” som inte syftar på publicerade vetenskapliga artiklar i etablerade vetenskapliga tidskrifter. Ibland används retoriska knep som onödigt fikonspråk eller överdrivet exakta sifferangivelser.

• Finns osäkerhet eller inkonsekvens?

  Varning för lösa hypoteser som inte bygger på annan vetenskaplig kunskap. När de aktuella resultaten inte stämmer med andras rön finns större anledning att vara försiktig, liksom om resultaten är mångtydiga eller verkar ologiska. Medicinska experters personliga åsikter och prestigetänkande färgar hur resultaten tolkas.

• Är källan tillräckligt kunnig om detta?

  Källan är expert – men på vad? Vilket anseende har denna expert bland kollegor? Vad för slags forskning har hon eller han tidigare publicerat?

• Finns det särintressen bakom?

  Exempel: forskningsanslag, försäljning, exponering.

Steg 2. Finns vetenskapligt underlag?

När man som kritisk läsare eller lyssnare tycker att ett medicinskt påstående i massmedia faktiskt skulle kunna vara trovärdigt är nästa fråga: Var finns bevisen? Medicinska experter bör ju vetenskapligt kunna styrka sina påståenden. I vissa fall kan det räcka med en experts långa erfarenhet. Men den typen av osystematiska observationer kan vara bedrägliga. Man behöver inte gå många år tillbaks i medicinhistorien för att hitta ineffektiva eller direkt skadliga behandlingar som alla framstående experter vid den tiden trodde bergfast på. Haken var ofta att ingen hade brytt sig om att forska om saken.

Då liksom nu gäller att dogmer aldrig kan ersätta vetenskaplig kunskap. Idag anses välkända vetenskapliga tidskrifter, som New England Journal of Medicine, The Lancet, Journal of the American Medical Association och British Medical Journal, samt vissa forskningsdatabaser som Cochrane Library, ha den största tyngden. Resultat som publiceras där har vanligen faktagranskats, även om man måste komma ihåg tidskrifterna också innehåller ledare, debattartiklar, insändare och bilagor. Sådana texter är givetvis inte granskade på samma sätt och ibland är de rena partsinlagor.

För att kunna avgöra om en publicerad undersökning är tillförlitlig bör man för det första ta reda på vilka patienter som har undersökts, och därmed vilka patienter som berörs av resultaten. Vilken diagnos hade de, var de unga eller gamla, kvinnor eller män, rökare och så vidare. Att utifrån en viss typ av försökspersoner dra slutsatser om en helt annan kategori av patienter kan leda helt fel. Till exempel kan det hända att en behandling som gör nytta för unga människor är direkt skadlig för gamla.

Hur tillförlitlig en vetenskaplig studie är beror till stor del på vilken undersökningsmetod som har använts. Några tumregler när det gäller medicinska behandlingar är att:

• kontrollerade studier, det vill säga sådana som samtidigt undersöker en kontrollgrupp som jämförelse, ger säkrare resultat än okontrollerade,
• randomiserade studier, där deltagarna lottas till försöksgruppen eller kontrollgruppen, ger säkrare resultat än icke-randomiserade undersökningar,
• prospektiva studier, det vill säga undersökningar som går framåt i tiden och som börjar följa deltagarna samtidigt som själva undersökningen startar, ger säkrare resultat än retrospektiva, bakåtblickande studier.

När medierna rapporterar forskningsresultat anges kanske att ”metoden är effektiv” eller ”risken minskade”. Däremot är det inte säkert att de anger hur många av patienterna som förbättrades och hur mycket risken minskade. Sådana förändringar bör inte bara anges i procent utan också i absoluta tal – annars blir statistiken ofta missvisande. Exempelvis låter ju en femtioprocentig riskminskning imponerande. I själva verket kan den vara fullständigt betydelselös om risken redan från början är minimal.

Många gånger är det också viktigt att fråga sig hur noggrant ett undersökningsresultat är och hur stora felmarginalerna är. Om forskarna till exempel jämför en försöksgrupp som får ett nytt läkemedel med en kontrollgrupp som får placebo (blindtabletter) så måste skillnaden mellan dem vara tillräckligt stor för att antas bero på något annat än slumpen.

Medelvärdena ska därför omges med konfidensintervall, det vill säga ett sifferområde inom vilket det verkliga värdet sannolikt ligger. Om konfidensintervallen för försöksgruppen och kontrollgruppen överlappar varandra så är skillnaden mellan grupperna för liten för att vara statistiskt säkerställd.

Ibland missbrukas konfidensintervall så att bara den ena gränsen anges – bara den övre eller bara den undre. Effektsökande fraser som ”upp till” eller ”så lite som” kan också vara vilseledande. En sådan lösryckt siffra låter mer dramatisk, men är samtidigt missvisande eftersom den anger spridningen bara åt det ena hållet. Ska man ange spridningen på ett riktigt sätt så bör både den övre och den undre gränsen anges.

Checklista. Finns det vetenskapligt stöd?

• Var finns underlaget?
• experter ska kunna styrka påståenden med artikel eller referens
• är tidskriften välkänd?

• Vilka har undersökts – vilka berörs?
• sjukdomstillstånd
• ålder och kön
• social/kulturell bakgrund
• uppföljningstid

• Har tillförlitlig forskningsmetod använts?ex för behandlingsmetoder:
• retrospektiv studie sämre än prospektiv
• okontrollerad sämre än kontrollerad
• icke-randomiserad sämre än randomiserad

• Hur stor var effekten?
• inte bara procent, utan även absoluta tal
• NNT (Number Needed to Treat), hur många genomgår behandling per lyckat fall

• Hur precist är resultatet?
• felmarginal, konfidensintervall
• statistiskt signifikant eller inte
• inte bara ”upp till” eller ”så lite som”

Steg 3. Är bevisen starka eller svaga?

Inte all forskning är lika tillförlitlig. Det finns många fallgropar när det gäller vetenskapliga bevis.Preliminära resultat från pilotstudier och förhandsrapporter från pågående studier – som ofta redovisas vid medicinska konferenser och som medierna ibland rapporterar som medicinska nyheter – kan vara otillförlitliga. Det kan röra sig om undersökningar som aldrig skulle hålla för en fackgranskning, och som heller aldrig har genomgått sådan kontroll. Ett av syftena med att en forskare ändå presenterar resultaten vid en konferens är att kollegorna skall kunna påpeka brister i undersökningen och hjälpa henne eller honom att komma vidare.

Behandlingsstudier som saknar kontrollgrupp ger som sagt svaga bevis. Undersökningar som till exempel enbart har observerat en grupp patienter före respektive efter en viss behandling kan ytterst sällan dra tillförlitliga slutsatser om huruvida behandlingen var orsak till förbättringen. I sådana undersökningar är det vanligt att förbättringar eller försämringar uppstår av andra skäl än just till följd av behandlingen. Det kan leda till fel slutsatser.

Kontrollgruppen ska vara så lik försöksgruppen som möjligt i alla avseenden utom just vad gäller den åtgärd som man vill studera. Bästa sättet att uppnå detta är att göra en undersökning där försökspersonerna lottas till antingen behandlingsgrupp eller kontrollgrupp – en så kallad randomiserad kontrollerad studie.

Randomiserade kontrollerade studier är ett av den medicinska behandlingsforskningens allra bästa verktyg. Icke-randomiserade studier kan mer sällan ge hållbara bevis för att en viss behandling är bättre än någon annan. Om forskarna inte har lottat försökspersonerna till behandlings- respektive kontrollgrupp så är risken större för systematiska fel (det vill säga systematiska olikheter mellan de undersökta grupperna) vilket snedvrider resultaten. Men det är viktigt att komma ihåg att inte bara uppläggningen utan också genomförandet spelar roll – en välgjord icke-randomiserad men kontrollerad studie kan vara mer tillförlitlig än en slarvigt genomförd randomiserad undersökning.

När det gäller kontrollgruppen är det också viktigt att fråga sig vilken behandling den har fått. Ibland väljer nämligen forskarna att ge kontrollgruppen en särskilt ineffektiv behandling för att visa på kontrasten mot den nya metoden. Om kontrollgruppen till exempel har behandlats med en ineffektiv, föråldrad metod som de flesta i vården redan har övergett så överdrivs ju värdet av den nya metoden. Det är naturligtvis mer intressant att jämföra den nya metoden med bästa tänkbara befintliga behandling än att jämföra med det sämsta alternativet. De alternativ som jämförs bör vara realistiska för att studien ska ge meningsfulla resultat.

Svaga bevis kommer ofta från studier med ett alltför litet antal försökspersoner. Ju färre försökspersoner som deltar i en undersökning, desto osäkrare är resultaten och desto större är risken att missa små men viktiga behandlingseffekter. I små studier som bara undersökt några tiotal försökspersoner är det ofta omöjligt dra säkra slutsatser. Redan på planeringsstadiet bör forskarna därför ha beräknat hur många försökspersoner som krävs i en studie för att kunna upptäcka och statistiskt säkerställa ett resultat av en viss förväntad storlek. I rapporten bör forskarna redovisa en sådan så kallad powerberäkning.

Ett annat problem som förekommer är att urvalet av försökspersoner är snett, och inte är representativt för den grupp som man drar slutsatser om. Vanliga fallgropar är till exempel att försökspersonerna är mer eller mindre sjuka än andra patienter, har andra sociala eller ekonomiska förutsättningar, annan etnisk bakgrund eller livsstil, har fått ett annat omhändertagande än vad som är möjligt i rutinsjukvård, eller röker eller dricker alkohol i annan omfattning än ”typfallen”. Under många år gjordes svenska undersökningar av praktiska skäl på värnpliktiga män – ett urval som självklart kunde ge en skev bild av verkligheten om slutsatserna förutsattes gälla för äldre, kvinnor eller barn.

Än i dag gör forskare ibland ett väldigt snävt urval av försökspersoner för att den undersökta gruppen ska bli enhetlig och för att få tydliga resultat. Då uppstår i stället problemet att resultaten inte blir lika allmängiltiga. Vissa personer kan till exempel ha uteslutits ur studien för att de har mer än en enda sjukdom. Å andra sidan, om deltagarna inte har gallrats alls kan en verklig behandlingseffekt skymmas av andra faktorer och studiens resultat bli osäkert. För att få en balanserad bild bör därför resultat från studier med snävt urval kompletteras med resultat från grupper som inte är lika enhetliga.

Inte sällan delar forskarna i efterhand in den undersökta gruppen i en mängd undergrupper, till exempel efter ålder eller grad av symtom. Sådana efterhandskonstruktioner kan vara värdefulla för att pressa fram ytterligare information ur undersökningen – fakta som väcker nya frågor och som kan ligga till grund för nya undersökningar. Men den här metoden kan drivas för långt. Då har forskarna, i jakten på ett visst resultat, gjort så många delanalyser att enbart slumpen har åstadkommit ett sådant resultat i en undergrupp. Ju fler undergrupper som det insamlade materialet delas in i, desto större är denna risk. Att dela in materialet i nya undergrupper ända tills ett signifikant resultat faller ut är ett exempel på något som på engelska kallas data dredging, ”fiskafänge”. Det anses inte vara god forskning.

Många undersökningar kan inte besvara de frågor som forskarna har ställt för att en stor andel av försökspersonerna aldrig fullföljde undersökningen – bortfallet var för stort. Vissa vetenskapliga tidskrifter accepterar sällan ett bortfall över 20 procent. Orsakerna till att vissa personer avbröt deltagandet ska alltid redovisas i detalj, till exempel biverkningar (faktiska eller misstänkta), oväntade förändringar av hälsotillståndet, bristande motivation eller flyttning från orten. Om forskaren inte kan visa att de personer som avbröt studien var lika de övriga försökspersonerna så finns risk för snedvridning av resultaten.

Förväntningar kan också ge snedvridna resultat. När försökspersonerna och/eller försöksledarna är medvetna om vem som får vilken behandling så kan förväntningseffekter uppstå. Vetskapen om att somliga personer får en viss behandling påverkar tolkningen. De säkraste undersökningarna hemlighåller därför vissa fakta fram till att undersökningen är avslutad och resultaten skall bearbetas. En sådan maskering kallas i vetenskapliga sammanhang för blindning.

Viktigt är också hur länge studien pågick. Det finns nämligen gott om publicerade studier som är kortvariga trots att de resultat som är intressanta är långtidseffekterna. Hur patienterna mår i den stund när undersökningen avbryts är ofta mindre intressant än hur det går på längre sikt. Kanske avklingar effekten av en operation efter bara några dagar eller veckor – hur mycket har patienten då vunnit? Till och med en randomiserad blindad studie med minimalt bortfall kan ge missvisande resultat om den är för kortvarig. Patienterna ska alltid följas så länge att man hinner konstatera om de effekter man är ute efter håller i sig eller klingar av snabbt. Men det händer att optimistiska försöksledare ”friskförklarar” patienter i förtid, utan att observera långtidseffekterna.

Till sist den kanske allra viktigaste frågan. Den gäller vad undersökningen egentligen mäter – och om det som mäts spelar någon roll i praktiken. Det mest intressanta för de flesta av oss är ju om en behandling har bevisad effekt på livskvalitet, sjukdomsbesvär och livslängd. Om en åtgärd bara påverkar något laboratorievärde – vilket är vanligt – och aldrig har visats spela roll för sjuklighet, dödlighet eller livskvalitet så bör man vara mer skeptisk. Bra labbvärden behöver inte vara någon garanti för att man faktiskt mår bättre av behandlingen.

Viktigt för att avgöra om en undersökning av en behandlingsmetod håller är att ta reda på om:

1. försökspersonerna är representativa
2. undersökningen gör meningsfulla jämförelser
3. försökspersonerna har lottats (randomiserats)
4. studien är tillräckligt lång, stor och fullständig.

Checklista. Typiskt för svaga vetenskapliga bevis:

• Preliminära resultat
  presenteras t.ex. på konferens, ”enligt min erfarenhet”

• Ingen kontrollgrupp
  enbart före–efter är sällan bevis

• Ingen randomisering
  systematiska fel uppstår

• Fåtal observationer
  ofta omöjligt dra slutsatser

• Snett urval
  sjukare/friskare, äldre/yngre, undergrupper

• Stort* bortfall
  systematiska fel

• Ingen blindning
  förväntningseffekter, påverkar tolkning

• Kort uppföljning
  ”friskförklaring” eller ”misslyckande” i förtid

• Bara labbvärden
  symptom, livskvalitet, död viktigast för patienten

• Inget stöd i andra studier
  enstaka liten studie räcker inte, meta-analys av många studier ofta bättre

*vad som är ”stort” beror på typen av undersökning och frågeställning

Steg 4. Presenteras resultaten sakligt och korrekt?

Det går som bekant att hitta exempel på nästan vad som helst. Letar man bara tillräckligt länge så hittar man hästar med två huvuden och dödssjuka människor som blir friska efter att ha druckit maskroste. Detta blir otroliga och underhållande historier.

Men det gäller att fråga sig vad som är regel och vad som är undantag, vad som är typfall och vad som är kuriosa. En rättvis bild av verkligheten kräver typiska exempel. Om man till exempel hör talas om någon som blev frisk efter att ha druckit maskroste är det rimligt att också ta reda på resten av historien, till exempel att 99 procent av alla patienter med den sjukdomen blir friska spontant – utan behandling och oavsett tesort.

En rättvisande bild av en behandlingsmetod visar både eftersträvade effekter och biverkningar, både nytta och skada. Om det är känt hur vanliga och hur allvarliga biverkningarna är så är även detta viktiga upplysningar. Och om detta inte är klarlagt – till exempel för att det rör sig om en ny och oprövad behandlingsmetod – så är även det av intresse.

Ett vanligt fel i medicinska nyheter är att de inte skiljer mellan statistiskt samband och orsakssamband. Att två fenomen inträffar samtidigt betyder inte att det ena orsakar det andra. Att en person har blivit magsjuk efter att ha ätit ett nytt läkemedel betyder inte att läkemedlet orsakade magsjukan. Att en person har tillfrisknat efter handpåläggning betyder inte att handpåläggningen var verksam.

Det krävs vetenskapliga undersökningar av en stor grupp människor som får läkemedlet eller handpåläggningen innan man kan dra slutsatser om vad som orsakade vad. I sådana studier kan man till exempel jämföra alla som har drabbats av en sjukdom med en motsvarande grupp som inte har drabbats, för att analysera tänkbara orsaker.

Riskerna med olika livsstilar, matvanor, yrken, läkemedel och beteenden beskrivs ofta av forskare. I rapporter om hälsorisker anges ofta sannolikheten för skadliga effekter i procent eller promille. Sådana siffror blir ganska intetsägande för en lekmannapublik som inte har något att jämföra med. Man bör alltså jämföra olika hälsorisker med varandra och på så sätt få ett grepp om olika hälsoriskers storlek. Risken att smittas av galna ko-sjukan kan till exempel ställas mot risken att smittas av salmonella i kyckling.

Risken att råka ut för stora besvikelser vad gäller nya behandlingar eller bli skrämd i onödan av falska alarm om hälsorisker är kanske allra störst för den som betraktar alla experter och alla ”vetenskapliga” nyheter som lika tillförlitliga. En bättre utgångspunkt är att försöka ställa kritiska frågor om sanningshalten i de forskningsresultat som refereras i medier och på webbplatser. Att upptäcka tvivelaktigheter är faktiskt lättare än man kan tro.

Checklista. Så rapporteras medicinska nyheter sakligt och korrekt.

• Rättvisande exempel väljs
  liknelser och exempel väljs medvetet, och när det handlar om undantag – säg det!

• Både effekter och bieffekter rapporteras
  både skada och nytta redovisas

• Man skiljer mellan samband och orsak
  att två händelser inträffar samtidigt betyder inte att den ena orsakar den andra

• Risker jämförs med varandra
  hälsoriskers storlek förklaras genom att jämföras med varandra

• Man är skeptisk till obevisade påståenden
  sådana finns ofta i pressmeddelanden, på konferenser, i tidskrifters supplement, på nätet

Lästips

• Levi, R. 1998. Evidensbaserad sjukvård. Vård på säkrare grund. Lund: Studentlitteratur.
• Levi, R. 2000. Medical Journalism. Exposing Fact, Fiction, Fraud. Lund: Studentlitteratur.

Ett statistiskt påpekande från Joakim Westerlund, fil dr, finns i de svenska notiserna i Folkvett nr 2/2006.