Yle uutisoi kyselynsä ulkoisesta luotettavuudesta harhaanjohtavasti

Ylen 23.7.2018 julkaisema kysely koko Suomen asuttuna pysymisestä on herättänyt kriittistä ja tervetullutta keskustelua kyselyn sisäisestä luotettavuudesta.

Kritiikille alttiina on koettu varsinkin vastaajille esitetty väite: "Valtion pitää turvata palvelut niin, että koko Suomi pysyy asuttuna."

Mitä "asuttuna" oleminen oikein tarkoittaa? Onko koko isänmaa nyt muka asuttu, kuten esitetty väite vastaajille uskotteli?

Voiko valtion palvelujen avulla ylipäätään pysyttää koko Suomea asuttuna? Pitääkö koko Suomi pysyttää asuttuna mihin hintaan tahansa? Mitä väite tosiasiassa mittasi? (ks. 30.7. lisäys postauksen lopussa).

Kyselyn sisäisen luotettavuuden arviointia auttaisi, jos tietäisimme, millaista infoa vastaajat saivat esimerkiksi kyselyn tarkoituksesta. Oliko se jollain tapaa johdattelevaa?

Tästä emme voi tietää mitään, koska Seppo Tikkanen ei Ylen uutisten nettisivun jutussaan kerro, miten kyselyä vastaajille pohjustettiin. Tikkasen jutun voi lukea tästä.

Kiinnostavasti kriitikot eivät näytä lainkaan piitanneen siitä, miten Yle uutisoi Taloustutkimus Oy:llä teetetyn kyselyn ulkoisesta luotettavuudesta.

Kiinnostusta olisi kaivattu, sillä Yle uutisoi harhaanjohtavasti siitä, miten kyselyn tulokset olivat yleistettävissä koskemaan laajempaa kohdejoukkoa.

Yllä oleva Seppo Tikkasen jutusta "kaapattu" kuvio kertoo havainnollisesti kyselyn päätulokset. Ne perustuivat jutun mukaan 1 012 vastaajan vastauksiin puhelinhaastatteluissa 11.–19.6.

Juttu ei paljasta, mistä otantakehikosta 1 012 vastaajan otos oli valittu. Siksi emme tiedä, oliko vastaajat valittu oikeaoppisesti satunnaisotantana vai oliko heidät noukittu puolivillaisesta nettipaneelista.

Kuvion alapuolen huonosti näkyvässä tekstissä Tikkanen ilmoitti, että kyselyn virhemarginaali oli +/- 3 prosenttiyksikköä.

Ilmoitus johti lukijoita harhaan, sillä kullakin kannatusprosentilla oli tässäkin kyselyssä ikioma virhemarginaalinsa. Ainoankaan tuloksen virhemarginaali ei ollut +/- 3 prosenttiyksikköä.

Kannatusprosentin 79 virhemarginaali oli, jos vastaajat oli valittu oikeaoppisesti, +/- 2,5 prosenttiyksikköä. Kannatusprosentin 5 virhemarginaali oli +/- 1,3 prosenttiyksikköä ja kannatusprosentin 12 virhemarginaali +/- 2,3 prosenttiyksikköä.

Jäljempänä jutussa julkaistiin grafiikka, jossa esitettiin puoluekohtaiset kannatusprosentit koko Suomen asuttuna pitämiseen.

Myös tämän kuvion alapuolen heikosti näkyvässä tekstissä Tikkanen ilmoitti, että virhemarginaali oli +/- 3 prosenttiyksikköä.

Tällä virhemarginaali-infollaan Seppo Tikkanen tuli johtaneeksi Yleä rahoittavia veronmaksajia vieläkin pahemmin harhaan. Miksi näin?

Kun Suomen asuttuna pysymisen kannatusta mitattiin puolueittain, kyseessä oli osaotoksiin perustuva mittaus.

Osaotoksiin perustuvien kannatusprosenttien virhemarginaalit eivät voineet olla samat kuin koko otokseen perustuvien tulosten virhemarginaalit; otoskoko vaikuttaa paljon virhemarginaaleihin.

Tikkanen ei jutussaan tietenkään kerro osaotosten kokoa. Niinpä uutisoinnin harhaanjohtavuutta on pakko tarkastella tiettyihin oletuksiin nojautuen.

Oletan ensiksikin, että puolueiden kannatusprosentit olivat tässä kyselyssä samat kuin Ylen kesäkuun puoluegallupissa. Kyselyt tehtiin suurin piirtein samoihin aikoihin.

Toiseksi oletan, että kesäkuun puoluegallupin tapaan tässäkin kyselyssä vain 63 prosenttia vastaajista halusi kertoa tai tiesi, mitä puoluetta kannatti. Kantansa kertoneita oli siis vain 638.

Kolmanneksi oletan rohkeasti ja hyväntahtoisesti, että Taloustutkimus on valinnut vastaajat oikeaoppisesti eli satunnaisotantaa käyttäen.

Näillä oletuksilla laskin puolueittain sekä osaotosten koot että virhemarginaalit. Alla olevassa asetelmassa ovat vain kuutta suurinta puoluetta kuvaavat luvut.

"TULOS" tarkoittaa asetelmassa sitä, kuinka iso osa kunkin puolueen kannattajista ilmoitti olevansa sitä mieltä, että valtion pitää turvata palvelut, niin että koko Suomi pysyy asuttuna.

Kun Tikkanen oli uskotellut virhemarginaalin olevan +/- 3 prosenttiyksikköä, niin tosiasiassa virhemarginaalit olivat 5,4–11,1 prosenttiyksikköä suuntaansa.

Esimerkiksi sdp:n kannattajista on Ylen kyselyn mukaan 83,6–94.4 prosenttia 95 prosentin todennäköisyydellä sitä mieltä, että valtion pitää turvata palvelut, niin että koko Suomi pysyy asuttuna. Vastaava keskustan kannattajia koskeva tulos on 84,3–95,7 prosenttia.

Lisäys 30.7.2018:

Ylen kyselyn julkaisemisen jälkeen julkisuudessa on totta kai esitetty ties millaisia väitteitä siitä, mitä kysely osoitti.

Yksi kummallisimmista väitteistä esitettiin maanantaiaamuna 30.7. Ylen uutisten nettisivuilla. Tämä väite ansaitsee tulla noteeratuksi postauksen lisäyksenä.

Muistutettakoon vielä tässä, mitä vastaajilta kysyttiin ja millaisin tuloksin. 79 % vastaajista oli sitä mieltä, että "valtion pitää turvata palvelut niin, että koko Suomi pysyy asuttuna".

Vihreä poliitikko, kolumnisti, tutkija, luennoitsija, kouluttaja Jukka Relander väitti nyt kyselyn osoittaneen, "että enemmistö suomalaisista haluaisi pitää mökkikuntansa asuttuna".

Tilastokeskuksen tietojen mukaan kesämökkejä on Suomessa reilut 500 000, kotitalouksia taas lähes 2,7 miljoonaa.

Jos Ylen kyselyn vastaajajoukko oli edustava myös kesämökkien omistuksen vinkkelistä, niin neljällä vastaajalla viidestä ei ollut kesämökkiä ollenkaan.

Miten ihmeessä tämä mökittömien suomalaisten huima enemmistö muka olisi voinut haluta pitää mökkikuntansa asuttuna? Koko ajatus on absurdi.

Minulla ei ikinä ole ollut kesämökkiä eikä siten myöskään "mökkikuntaa". Jos olisin ollut Ylen kyselyn vastaaja ja jos olisin käsittänyt Ylen utelevan, haluanko pitää mökkikuntani asuttuna, minulle olisi kiiruusti pitänyt pukea se paita, jonka pitkät hihat pistetään solmuun selän takana.

Faktavahti kiittää: Yle luopui puoluekannatuskyselynsä virhemarginaalin virheellisestä laskutavasta

Kirjoittelen tätä postausta "Kukas kissan hännän nostaa, jollei kissa itse" -hengessä. Ylen uutiset nimittäin noteerasi korjauspyyntöni ja luopui puoluegallupinsa virhemarginaalin virheellisestä, yleisöä harhaan johtaneesta laskutavasta.

Julkaisen 27.10. lähetetyn korjauspyynnön postauksen lopussa. Pyynnöstä käy uskoakseni hyvin ilmi, mistä syystä korjaus oli tarpeen tehdä.

Tänään julkaistun tuoreimman kyselyn raportissa korjaus todettiin näin: "Huom: Syyskuuhun 2016 asti virhemarginaali on ilmoitettu kaikista tutkimukseen osallistuneista. Lokakuusta 2016 lähtien virhemarginaali ilmoitetaan kantansa ilmoittaneista."

Näin virhemarginaalit lokakuun 2016 raportissa sitten ilmoitettiin: "Kannatusarvion virhemarginaalit ovat 95 prosentin luottamustasolla suurimpien puolueiden osalta tällä mittausjaksolla noin ± 2,1 prosenttiyksikköä."

Jostakin minulle tuntemattomasta syystä Yle ei ilmoita virhemarginaaleja puolueittain edes gallup-raportissaan.

Menettely edustaa huonoa julkista palvelua; kansalaisten tulisi totta kai saada tietää virhemarginaalit puolueittain voidakseen arvioida pienempienkin puolueiden kannatuslukuihin liittyvää epävarmuutta.

Laskin virhemarginaalit puolueittain Ylen tuoreimman kyselyn luvuista ja sovelsin tavanomaisia pyöristyssääntöjä, kun kiusasin taskulaskintani:

SDP ± 2,1, Vas. ± 1,5, Kok. ± 2,0, Kesk. ± 2,1, RKP ± 1,0, KD ± 0,9, Vihr. ± 1,8 ja PS ± 1,4 prosenttiyksikköä.

Virhemarginaalit siis vaihtelevat puolueittain ± 0,9 prosenttiyksiköstä ± 2,1 prosenttiyksikköön. En keksi mitään järjellistä syytä siihen, että Yle panttaa näitä tietoja eikä palvele kunnolla yleisöjään.

Kiinnitin korjauspyynnössäni Ylen uutistoimituksen huomiota kahteen muuhunkin virhemarginaalien uutisoinnin ongelmaan.

Toinen näistä ongelmista on se, että Yle uutisoi hyvinkin pieniin osaotoksiin perustuvia tuloksia, mutta ei kerro yleisölle mitään niihin liittyvästä todella suuresta epävarmuudesta.

Osaotosten koot ja osaotoksiin perustuvien tulosten virhemarginaalit pitäisi ilman muuta kertoa. Ellei niitä kerrota, yleisö tulee tosiasiassa harhaan johdetuksi.

En ole tässä asiassa mielipiteineni ihan yksin. Osaotosten koon ja osaotoksiin perustuvien tulosten epävarmuuden ilmoittamista edellyttävät monet surveyn vastuulliset ammattilaiset ja järjestöt.

Yksi näistä järjestöistä on Yhdysvalloissa vaikuttava AAPOR. Meillä osaotosten ongelmaan ovat kiinnittäneet huomiota mm. Turun yliopiston tutkijat Siiri-Maija Heino ja Matti Wiberg (ks. Politiikka 54:1, s. 73–82, 2012).

Toinen ongelma liittyy siihen, että kun kerrotaan kannatuksen muutoksesta edellisestä mittauksesta, jätetään kertomatta muutoksen virhemarginaalista. Se on paljon isompi kuin yksittäisen mittauksen virhemarginaali, koska verrataan keskenään kahta epävarmaa kannatuslukua.

Tuoreimmasta gallupista kertoessaan Yle näytti hehkuttavan kokoomuksen kannatuksen kasvua 1,7 prosenttiyksiköllä 17,1 prosentista 18,8 prosenttiin. Muutoksen olisi kuitenkin pitänyt olla vähintään 3 prosenttiyksikköä, jotta se ei enää olisi mahtunut virhemarginaaliin. Miksi Yle ei tätä yleisöilleen kerro?

Päätoimittaja Atte Jääskeläiselle 27.10. lähetetty korjauspyyntö Pekka Kinnusen 7.10. jutun "SDP kiri keskustan rinnalle – perussuomalaisille valoa kuilun pohjalle" virheestä:

Hei,

Pekka Kinnusen jutussa todetaan, että ”mittauksen virhemarginaali on suurimpien puolueiden osalta noin 1,8 prosenttiyksikköä ylös- tai alaspäin”. Sama ± 1,8 prosenttiyksikköä kerrottiin mittauksen virhemarginaaliksi myös tv-uutisten juttujen (7.10. klo 7.00 ja 20.30) grafiikassa.

Tieto tilastollisesta ± 1,8 prosenttiyksikön virhemarginaalista on virheellinen. Suurimpien puolueiden kohdalla kyselyn tilastollinen virhemarginaali on tosiasiassa paljon isompi, lähes ± 2,4 prosenttiyksikköä.

Jotta Ylen uutisten nettisivuille ei jää virheellistä, lukijoita harhaan johtavaa tietoa puoluekannatuskyselyn ulkoisesta luotettavuudesta, väärä tieto on syytä korjata (JO 20).

Kinnusen jutusta käy ilmi, että Taloustutkimus haastatteli kannatusarviota varten 1941 henkilöä. Puoluekantansa heistä kertoi vain 58,3 prosenttia eli 1132 vastaajaa.

Yleisölle kerrottu ± 1,8 prosenttiyksikön virhemarginaali näyttää lasketun niin, että otoskokona on käytetty lukua 1941 eli haastateltujen koko määrää, vaikka tieto puoluekannasta saatiin vain 1132 vastaajalta.

Kyselyn tulosten yleistettävyyden arvioimiseksi siis oli saatu tiedot vain 1132 vastaajalta, mutta yleistettävyyttä eli kyselyn ulkoista luotettavuutta koskeva tieto virhemarginaalista esitettiin yleisölle kuitenkin ikään kuin tiedot olisi saatu 1941 vastaajalta. Näin ei voi menetellä.

Ottamalla virhemarginaalin laskemista varten mukaan 809 (1941–1132) sellaista haastateltua, joiden puoluekannasta ei ollut mitään tietoa, Yle tuli liioitelleeksi rajusti puoluekannatuskyselyn ulkoista luotettavuutta. Virhemarginaali olisi pitänyt laskea vain saatujen vastausten perusteella.

Virhemarginaalin laskukaava 95 %:n luottamustasolla on muotoa ± 1,96 * √ (p * q ÷ n). Kaavassa p on havaittu prosenttiluku, q on 100 % – p ja n on otoskoko. Keskustan ja sdp:n tapauksessa kaavan olisi pitänyt olla tällainen: ± 1,96 * √ (20,5 * 79,5 ÷ 1132). Tulokseksi tulee ± 2,35 eli pyöristettynä ± 2,4 prosenttiyksikköä.

Kiinnitän tässä korjauspyynnössäni huomiota myös kahteen muuhun virhemarginaaliongelmaan Ylen puoluekannatusuutisissa. Niissä kerrotaan aika ajoin tuloksista, jotka perustuvat erittäin pieniin osaotoksiin. Sellaisissa tuloksissa on hurjan paljon satunnaisotantaan liittyvää epävarmuutta, mutta tästä tosiasiasta Yle ei koskaan yleisöä varoita.

Hilkka Säävälä esimerkiksi kertoi 7.10. jutussaan (klo 7.00), että perussuomalaiset on työttömien parissa ykköspuolue: ”Syyskuun mittauksessa yli viidennes työttömistä kannatti puoluetta. Perussuomalaista työministeriä tiuhaan arvostelevat vasemmistopuolueet jäivät kauas kannatuslukemista.”

Jos työttömiä oli puoluekantansa kertoneiden joukossa samassa suhteessa kuin 18–79-vuotiaiden suomalaisten perusjoukossa, heitä oli noin 60 (Tilastokeskuksen mittaustavalla). 

Jos ajatellaan edelleen, että ”yli viidennes” oli vaikkapa 23 prosenttia, virhemarginaalin kaava näytti tältä: ± 1,96 * √ (23 * 77 ÷ 60). Tulokseksi saatiin, että tilastollinen virhemarginaali oli ± 10,6 prosenttiyksikköä. 

Se oli siis valtavan paljon isompi kuin katsojille kerrottu ± 1,8 prosenttiyksikön virhemarginaali. Jotta Ylen yleisöt eivät tulisi huiputetuiksi, heille pitäisi kertoa osaotosten koot ja muistuttaa heitä osaotoksiin perustuvien tulosten todella suuresta epävarmuudesta.

Ylen puoluekannatusuutisissa ei kerrota koskaan siitäkään, että tarkasteltaessa kannatusten muutoksia edellisestä kyselystä muutosten virhemarginaalit ovat paljon isompia kuin yksittäisen mittauksen virhemarginaalit. Tämä seuraa siitä, että verrataan keskenään kahta lukua, joissa kummassakin on satunnaisotantaan liittyvää epävarmuutta.

Laskin elo- ja syyskuun mittauksista, että esimerkiksi sdp:n tapauksessa kannatusmuutoksen olisi pitänyt olla reilut 3 prosenttiyksikköä, jotta muutos ei olisi enää mahtunut virhemarginaaliin. Nyt kannatuksen muutos oli vain 0,5 prosenttiyksikköä. Niinpä emme tiedä sitä, oliko kyse kannatuksen todellisesta muutoksesta vai pelkästään satunnaisotantaan liittyvästä ilmiöstä.