Att tolka opinionsundersökningar

Väljarundersökningar publiceras i regel flera gånger varje månad av olika opinionsinstitut. Dessa undersökningar går ut på att ställa frågor av typen ”Vilket parti skulle du rösta på om det vore val idag?” till ett litet urval individer och från dessa svar försöka få en representativ bild av hur partisympatier hos hela den röstberättigade populationen i landet ser ut. Hur väl detta lyckas beror till stor del på i vilken utsträckning de personer som intervjuas representerar befolkningen i stort, vilket bestämmer riktigheten i undersökningen. Dessutom beror noggrannheten i dessa mätningar på hur många personer som intervjuas, vilket bestämmer precisionen i undersökningen. I figur 1 nedan åskådliggörs hur riktighet och precision tillsammans bestämmer noggrannheten. I detta inlägg kommer framför allt noggrannhet med avseende på precisionen i opinionsundersökingar att diskuteras, men även riktigheten berörs.

Figur 1. Riktighet, precision och noggrannhet.

Precisionen beror på antalet svarande i undersökningen
Vi antar att vi till de drygt 7 miljoner röstberättigande i landet skulle ha möjlighet att ställa frågan ”Vilket parti skulle du rösta på om det vore val idag?” och att exakt 6% skulle uppge parti X. Hur stor andel skulle då uppge att de skulle rösta på parti X om vi istället frågade ett ett mindre antal, säg 1 000, slumpvist utvalda personer? Svaret är att det kan vi inte veta exakt och att andelen skulle variera varje gång vi ställde frågan under förutsättning att inte samma personer fick frågan igen. Genom att använda en lämplig statistisk fördelning, exempelvis binomialfördelningen, kan vi däremot beräkna sannolikheten att en viss andel skulle uppge parti X enligt figur 2 nedan. Från figuren ser vi att det mest sannolika är att 6%, eller 60 personer, uppger parti X. Men vi ser också att sannolikheten är ganska stor att vi vid en undersökning skulle finna att exempelvis 5.1 % eller 6.9 % uppger parti X.


Figur 2. Sannolikheten att en viss andel uppger parti X vid 1 000 tillfrågade personer.

Vi gör nu om samma övning, men ställer istället frågan till 10 000 personer. Vi får då en fördelning en figur 3 nedan. Denna fördelning är mycket smalare än tidigare och vi säger att precisionen har ökat. Det verkar nu närmast osannolikt att 5.1% eller 6.9% skulle uppge parti X. Fortfarande är det dock så att sannolikheten är störst att exakt 6% uppger parti X.
         Figur 3. Sannolikheten att en viss andel uppger parti X vid 10 000 tillfrågade personer.

Ett mått på precisionen som brukar användas är den spridning i andel som uppger parti X så att 95% av fördelningens yta täcks in. För fördelningen i figur 2 innebär detta att andelen som uppger parti X måste vara mellan 4.53% och 7.47%, vilket kan uttryckas 6.00 ± 1.47% där 1.47% är den så kallade felmarginalen. För täcka in 95% av fördelningen i figur 3 måste mellan 5.53% och 6.47% uppge parti X, vilket kan uttryckas 6.00 ± 0.47% där 0.47% är felmarginalen. Viss försiktighet med dessa värden måste iaktagas. Intervallen är beräknade utifrån att 95% av fördelningen täcks in, d.v.s. sannolikheten är 95% är att andelen som uppger parti X återfinns i intervallen ovan. Det innebär exempelvis att sannolikheten är 5% att färre än 4.53% eller fler än 7.47% uppger parti X om 1 000 personer tillfrågas. En liten, men inte helt försumbar sannolikhet.

Andel av hela den röstberättigade befolkningen som uppger parti X
Hittills har vi antagit att vi vet hur stor andel av samtliga röstberättigade i landet som skulle uppge parti X om de blev tillfrågade. Det vet vi normalt sett inte, och visste vi det skulle vi inte behöva genomföra opinionsundersökningen. Vi ska nu försöka förstå hur vi, genom att tillfråga ett mindre antal personer, kan dra slusatser om andelen samtliga röstberättigade som skulle uppge parti X om de blev tillfrågade. För att göra detta antar vi att vi frågar 1 000 personer och att 60 stycken, eller 6.0%, uppger att de skulle rösta på parti X om det vore val idag. Uppgiften blir inte speciellt svår om vi nöjer oss med en ungefärlig uppskattning och vi kan då utnyttja resultaten ovan. Svaret blir att andelen av samtliga röstberättigade som skulle uppge parti X är, med 95% sannolikhet, 6.00 ± 1.47% och motsvarande andel om vi frågade 10 000 personer skulle, med 95% sannolikhet, ligga i intervallet 6.00 ± 0.47%.

I figur 4 kan felmarginaler utläsas för en undersökning med 1 000, 2 000 eller 10 000 tillfrågade där andelen som uppger parti X är mellan 0% och 50%. Som ett exempel antar vi att vi frågar 2 000 personer och att 400 av dessa, eller exakt 20%, uppger att de skulle rösta på parti X om det vore val idag. Ur diagrammet kan vi utläsa att felmarginalen är ca 1.75% och vi kan dra slutsatsen att 20.00 ± 1.75% av den totala röstberättigade befolkningen, med 95% sannolikhet, skulle uppge parti X vid samma fråga.

Figur 4. Felmarginal vid en viss andel som uppger parti X.

Statistiskt säkerställda förändringar
Ofta är den förändring i andelen som uppger parti X jämfört med tidigare mätningar det som är mest intressant. I dessa sammanhang brukar vi få höra att förändringen är statistiskt säkerställd alternativt inte statistiskt säkerställd. Vad innebär då detta? Enkelt uttryckt kan man säga att om skillnaden i resultat mellan två mätningar, uttryckt i %, är större än 1.4 x felmarginalen, så är förändringen statistiskt säkerställd. Det kan ibland vara något mindre än så som krävs. Statistiska centralbyrån (SCB) använder exempelvis i sin Partisympatiundersökning en metod där enbart en mindre andel nya personer tillfrågas varje gång för att bättre kunna mäta förändringar. SCB uppger att det då räcker med att skillnanden mellan två mätningar överstiger felmarginalen för att anses vara statistiskt säkerställd.

Ett jämförande exempel – Sifos väljarbarombarameter för januari 2018
För att testa våra nyvunna kunskaper jämför vi med uppgifter från Sifos väljarbarometer för januari 2018. Resultatet från denna undersökning med felmarginaler återfinns i figur 5 nedan. Antalet genomförda intervjuer är 2 196 och Socialdemokraterna får i undersökningen 27.8% av rösterna och felmarginalen uppges vara 1.9% för denna enskilda mätning. Läser vi av kurvan för 2 000 tillfrågade i figur 4 ovan ser vi att felmarginalen vid 27.8% är ca 2%, vilket stämmer mycket väl med vad Sifo uppger. Vidare uppger Sifo att felmarginalen i förhållande till föregående mätning är 2.6%. Vi kan uppskatta den till 1.4 x 2 = 2.8%, vilket även den stämmer mycket bra. Gör vi motsvarande övning för övriga partier så kommer vi att se att våra felmarginaler generellt stämmer väl överens med Sifos felmarginaler.

Figur 5. Resultat från Sifos väljarbarometer för januari 2018.

Riktigheten – hur kan ett litet urval representera befolkningen?
Så långt har vi endast berört precisionen och visat att denna beror på hur många som tillfrågas. Minst lika viktigt är att med olika metoder få en liten population som tillfrågas vid en undersökning att representera en mycket större population, exempelvis den totala  röstberättigade befolkningen. För att åstadkomma detta används olika statistiska data om befolkningen. De som tillfrågas i undersökningen bör exempelvis vara fördelade åldersmässigt och socioekonomiskt som hela populationen och vidare bör den geografiska fördelningen och andelen med utländsk bakgrund vara representativ. En försvårande omständighet är att vissa grupper av människor är mer eller mindre benägna att överhuvudtaget besvara frågor i en undersökning och vissa grupper är helt enkelt svårare att nå. Man försöker lösa detta genom att ge olika grupper olika vikt. Om man vet att studenter är svårare att nå så låter man varje student som man faktiskt når få representera en jämförbart större andel av befolkningen, man säger att man viktar olika grupper olika mycket. Detta blir viktigare ju större bortfallet är, d.v.s. den andel man försöker, men inte lyckas nå. Ibland använder man också information om det senaste valresultatet i landets olika regioner i viktningen för att undvika allt för stora kast. Allt detta har de flesta större opinionsinstitut bra koll på. En skillnad är dock institut som använder självrekryterande webbpaneler som Inizio (Aftonbladet), Yougov (Metro) och Sentio (Nyheter idag). Med självrekryterande paneler är det generellt sett svårare att få en representativ bild av en större population och riktigheten i undersökningen kan därmed ifrågasättas. Dock kan precisionen fortfarande vara bra och undersökningar från institut som använder självrekryterande webbpaneler kan fortfarande vara bra för att spåra förändringar.

Vem i hela världen kan man lita på?
Att besvara vilket opinionsinstitut som är bäst är svårt. SCB:s partisympatiunderöskning som utkommer två gånger per år får kanske ändå sägas stå i en klass för sig själv. Precisionen är hög eftersom ca 5 000 personer deltar i undersökningen. Eftersom undersökningen får stora resurser och kompetensen rimligtvis bör vara stor kan man anta att även riktigheten bör vara bra. Dock är det välkänt att vissa partier är svårare att mäta än andra, exempelvis gäller detta Sverigedemokraterna. Vidare kan ett institut vara bra på något eller några partier men vara betydligt sämre vad gäller andra partier. Novus “polls of polls”, som är en sammavägning av olika undrsökningar från olika institut, skulle därför kunna rekommenderas. Olika rankingar av opinionsinstitut finns att tillgå och här är en som jämför med valresultatet 2014 och här är en annan som utgår ifrån mer kvalitativa apsekter.

Slutord
Till sist några välmenade förmaningar. När du tolkar resultatet av en opinionsundersökning försök att ta reda på felmarginalerna alternativt uppskatta dessa med metoder som exempelvis beskrivs i detta inlägg. I det senare fallet är det viktigt att antalet genomförda intervjuer finns att tillgå. Att dra slutsatser utifrån en enskild mätning är näst intill meningslöst. Att jämföra förändringar är bara intressant om dessa är statistiskt säkerställda. I exemplet med Sifos väljarbarometer ovan är inga förändringar mellan december 2017 och januari 2018 statistiskt säkerställa (även om det är nära i fallet med Moderaterna). Ändå är det lätt att ledas till att dra slutsatser utifrån resultat som i de flesta fall troligtvis har en förklaring i statistik snarare än verkliga förändringar i opinionen.

Vidare läsning
SCB:s statistikskola

Jörgen Ekman (L)

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *