Metodfel i test av medium

Publicerat i Folkvett nr 1/2007.

Ett stort antal metodfel finns i rapporten av Sven Ove Hansson i Folkvett 2006:4, om hans undersökning av ett svenskt medium. Försökspersonen (fp) i testet anser sig ha paranormal (s.k. psykometrisk) förmåga att utifrån föremål säga något om föremålets ägare utan någon kännedom i övrigt om denne. Hansson utformade en experimentsituation där mediet skulle känna på 20 dagböcker från Nordiska Museets samling, utan att se dem, och ange om den som skrivit dagböckerna varit en man eller kvinna. Sannolikheten för ett korrekt svar är således 50% för en enskild dagbok. En hel del försiktighetsåtgärder vidtogs för att undvika sensoriska ledtrådar och dylikt.

Det hindrar inte att experimentet i sin helhet är så bristfälligt att det närmast för tankarna till de experiment som gjordes av parapsykologer på 1800-talet, då metodkunskapen ännu var outvecklad.

Exempelvis kan sensoriska ledtrådar ha kommit genom känseln, eftersom fp fick känna på dagböckerna med handen. Det är fullt möjligt att t.ex. storleken på dagböckerna eller materialet (skinnband, tygband etc.) kan skilja sig åt mellan män och kvinnor och på så sätt ge ledtrådar. Hansson skriver att hans ”allmänna intryck” var att det skulle vara mycket svårt att avgöra om dagböckerna var skrivna av en man eller kvinna, men en person med utvecklad intuition kan mycket väl ta hjälp av de ledtrådar som ändå kan finnas. Hansson anger inga uppgifter om storlek eller material på dagböckerna. Två var dessutom skrivna av samma person, vilket gör att det finns ett beroende mellan objekten (vilket försvårar en exakt statistisk analys). Om fp gissar rätt på den ena kan det påverka sannolikheten hos den andra gissningen. I detta fall gissade hon rätt på båda dessa dagböcker, skrivna av en man. Den mannens namn anges i rapporten: Pehr Wilhelm Cedergren. Dagboken kan alltså vara skriven av den kände marinmålaren med det namnet, död 1896 (samma år som en av just dessa dagböcker var skriven), och det är inte osannolikt att en sådan konstnär har en dagbok som är större eller på annat sätt skiljer sig från kvinnornas.

Vidare informerade Hansson fp om fördelningen av könen för dagboksförfattarna, på så sätt att minst fem av vart kön skulle vara representerade. Om det statistiska urvalet ledde till en större skevhet skulle urvalet göras om. Även detta försvårar en exakt statistisk analys. Fp påpekade, i och för sig klokt, att könsfördelningen, om den gjordes helt slumpmässigt, kunde bli mycket skev. Hansson lovade då att göra om slumpurvalet till dess att minst fem fanns av vart kön. Detta är inte ett metodiskt acceptabelt förfarande (och påverkas inte av att urvalet faktiskt inte behövde göras om). En enklare och bättre lösning, som enkelt går att utvärdera statistiskt, hade varit att från början bestämma att dagboksförfattarna skulle vara lika många av vart kön.

Märkligt är också att fp själv, och en amerikansk trollkarl, fått påverka utformningen och utvärderingen av experimentet även för rent vetenskapliga metodaspekter. Således har fp fått ange att 80% korrekta svar skall anses som ett ”lyckat” experiment. Det finns vetenskapligt gängse utvärderingsmetoder för när ett experiment skall anses ha något bevisvärde. Det finns olika signifikansnivåer som används i den statistiska analysen, och de bör användas för att resultaten skall bli tolkningsbara. Hansson har inte ens angivit vad 80% korrekta gissningar skulle motsvara för signifikansnivå, och inte heller varför denna nivå skulle väljas (utöver hänvisning till fp:s egen förväntan). Låt oss anta att hon själv förväntat sig 100% rätt, men endast fått 90% rätt – skulle det då ha varit ett misslyckande? Eller om hon förväntat sig 60% rätt, vilket är alldeles tillräckligt när det gäller paranormala förmågor, och vilket hon också uppnådde.

I parapsykologiska experiment av denna typ kan man knappast förvänta sig 80% korrekta gissningar. Även om clairvoyance eller telepati verkligen existerar (vilket jag betvivlar) är det ingen forskare som förväntar sig att det skall fungera med sådan exakthet. Fp fick 12 rätt mot förväntat 10, således 20% över slumpförväntan. Problem uppstår då att tolka resultatet eftersom försöksserien var alldeles för kort. Effektstorleken är för liten för att slå igenom i några få försök. Styrkan i experimentet (d.v.s. möjligheten att påvisa en eventuell paranormal förmåga) kunde ha ökats genom att fp fått bedöma några fler variabler utöver könet, t.ex. åldern när personen avled (inom givna intervaller). På så sätt hade det varit möjligt att få fram ett material som varit möjligt att utvärdera som positivt även om träffsäkerheten endast varit 20% över slumpförväntan.

Hansson gjorde också en separat analys av sex av dagböckerna och hävdar att sannolikheten skulle vara ca 90% att få fler rätt än tre av sex (d.v.s. fyra till sex rätt). Detta är helt fel. Sannolikheten är 90% att få två till sex rätt av sex. Jag har underhand fått förklaringen att tanken var att hypotetiskt ange sannolikheten för ett korrekt svar till 0,8 i stället för det verkliga 0,5, eftersom fp själv menade att hon kunde förväntas få 80% rätt. Detta är ett helt irrelevant resonemang, eftersom vi vet den verkliga sannolikheten för en korrekt gissning (åtminstone om vi bortser från metodbristerna). För dessa sex dagböcker fick fp tre rätt, vilket hur som helst är klart under det hemmagjorda kriteriet 80% rätt. För 80% hade det krävts fem rätt, och det resultatet skulle ändå inte ha varit statistiskt signifikant. Inte heller är tre rätt speciellt dåligt utifrån hypotesen att fp har en förmåga att klara 80%, eftersom hon med bara sex gissningar ändå kan förväntas få högst tre rätt i en tiondel av sådana försök.

Det är anmärkningsvärt att en representant för en förening som försöker motverka pseudovetenskap själv på ett amatörmässigt sätt ger sig i kast med en form av experiment som uppenbarligen ligger utanför hans kompetensområde. Den seriöst arbetande parapsykologin har under 1900-talet försökt att utarbeta allt striktare vetenskapliga metoder för att pröva existensen av paranormala fenomen. Föreningen Vetenskap och Folkbildning, VoF, har exponerat andra personer, som är respekterade inom sitt kompetensområde men som på sin fritid ägnat sig åt pseudovetenskapligt eller ovetenskapligt nonsens, t.ex. slagruteforskning eller kontakt med andeväsen. Det vore olyckligt om Sven Ove Hansson, professor i filosofi, sällade sig till denna skara. VoF bjuder in privatpersoner som anser sig ha speciella förmågor att delta i experiment som föreningen utger för att vara vetenskapliga. De privatpersoner som ägnar tid och kraft åt att medverka som försökspersoner bör då inte utsättas för experiment som inte uppfyller vetenskapliga kriterier.

En annan aspekt är att även detta bristfälliga experiment ändå måste ha tagit mycken tid och kraft i anspråk att genomföra. Det vore bättre om de personer som tar kontakt med föreningen uppmanades att först genomföra betydligt enklare experiment med hjälp av goda vänner, och att de får råd och hjälp med en enkel utformning av försöken. Även med mycket enkla kontroller kan det vanligen visa sig att personens förmåga inte håller för ett kontrollerat försök. Först om personen påstår sig kunna visa sin förmåga i sådana informella försök finns det anledning att göra ett vetenskapligt test, som i så fall bör uppfylla kraven på en vetenskaplig undersökning.

Nils Wiklund, docent i psykologi