Faktavahti

Yle uutisoi kyselynsä ulkoisesta luotettavuudesta harhaanjohtavasti

Ylen 23.7.2018 julkaisema kysely koko Suomen asuttuna pysymisestä on herättänyt kriittistä ja tervetullutta keskustelua kyselyn sisäisestä luotettavuudesta.

Kritiikille alttiina on koettu varsinkin vastaajille esitetty väite: "Valtion pitää turvata palvelut niin, että koko Suomi pysyy asuttuna."

Mitä "asuttuna" oleminen oikein tarkoittaa? Onko koko isänmaa nyt muka asuttu, kuten esitetty väite vastaajille uskotteli?

Voiko valtion palvelujen avulla ylipäätään pysyttää koko Suomea asuttuna? Pitääkö koko Suomi pysyttää asuttuna mihin hintaan tahansa? Mitä väite tosiasiassa mittasi? (ks. 30.7. lisäys postauksen lopussa).

Kyselyn sisäisen luotettavuuden arviointia auttaisi, jos tietäisimme, millaista infoa vastaajat saivat esimerkiksi kyselyn tarkoituksesta. Oliko se jollain tapaa johdattelevaa?

Tästä emme voi tietää mitään, koska Seppo Tikkanen ei Ylen uutisten nettisivun jutussaan kerro, miten kyselyä vastaajille pohjustettiin. Tikkasen jutun voi lukea tästä.

Kiinnostavasti kriitikot eivät näytä lainkaan piitanneen siitä, miten Yle uutisoi Taloustutkimus Oy:llä teetetyn kyselyn ulkoisesta luotettavuudesta.

Kiinnostusta olisi kaivattu, sillä Yle uutisoi harhaanjohtavasti siitä, miten kyselyn tulokset olivat yleistettävissä koskemaan laajempaa kohdejoukkoa.

Yllä oleva Seppo Tikkasen jutusta "kaapattu" kuvio kertoo havainnollisesti kyselyn päätulokset. Ne perustuivat jutun mukaan 1 012 vastaajan vastauksiin puhelinhaastatteluissa 11.–19.6.

Juttu ei paljasta, mistä otantakehikosta 1 012 vastaajan otos oli valittu. Siksi emme tiedä, oliko vastaajat valittu oikeaoppisesti satunnaisotantana vai oliko heidät noukittu puolivillaisesta nettipaneelista.

Kuvion alapuolen huonosti näkyvässä tekstissä Tikkanen ilmoitti, että kyselyn virhemarginaali oli +/- 3 prosenttiyksikköä.

Ilmoitus johti lukijoita harhaan, sillä kullakin kannatusprosentilla oli tässäkin kyselyssä ikioma virhemarginaalinsa. Ainoankaan tuloksen virhemarginaali ei ollut +/- 3 prosenttiyksikköä.

Kannatusprosentin 79 virhemarginaali oli, jos vastaajat oli valittu oikeaoppisesti, +/- 2,5 prosenttiyksikköä. Kannatusprosentin 5 virhemarginaali oli +/- 1,3 prosenttiyksikköä ja kannatusprosentin 12 virhemarginaali +/- 2,3 prosenttiyksikköä.

Jäljempänä jutussa julkaistiin grafiikka, jossa esitettiin puoluekohtaiset kannatusprosentit koko Suomen asuttuna pitämiseen.

Myös tämän kuvion alapuolen heikosti näkyvässä tekstissä Tikkanen ilmoitti, että virhemarginaali oli +/- 3 prosenttiyksikköä.

Tällä virhemarginaali-infollaan Seppo Tikkanen tuli johtaneeksi Yleä rahoittavia veronmaksajia vieläkin pahemmin harhaan. Miksi näin?

Kun Suomen asuttuna pysymisen kannatusta mitattiin puolueittain, kyseessä oli osaotoksiin perustuva mittaus.

Osaotoksiin perustuvien kannatusprosenttien virhemarginaalit eivät voineet olla samat kuin koko otokseen perustuvien tulosten virhemarginaalit; otoskoko vaikuttaa paljon virhemarginaaleihin.

Tikkanen ei jutussaan tietenkään kerro osaotosten kokoa. Niinpä uutisoinnin harhaanjohtavuutta on pakko tarkastella tiettyihin oletuksiin nojautuen.

Oletan ensiksikin, että puolueiden kannatusprosentit olivat tässä kyselyssä samat kuin Ylen kesäkuun puoluegallupissa. Kyselyt tehtiin suurin piirtein samoihin aikoihin.

Toiseksi oletan, että kesäkuun puoluegallupin tapaan tässäkin kyselyssä vain 63 prosenttia vastaajista halusi kertoa tai tiesi, mitä puoluetta kannatti. Kantansa kertoneita oli siis vain 638.

Kolmanneksi oletan rohkeasti ja hyväntahtoisesti, että Taloustutkimus on valinnut vastaajat oikeaoppisesti eli satunnaisotantaa käyttäen.

Näillä oletuksilla laskin puolueittain sekä osaotosten koot että virhemarginaalit. Alla olevassa asetelmassa ovat vain kuutta suurinta puoluetta kuvaavat luvut.

"TULOS" tarkoittaa asetelmassa sitä, kuinka iso osa kunkin puolueen kannattajista ilmoitti olevansa sitä mieltä, että valtion pitää turvata palvelut, niin että koko Suomi pysyy asuttuna.

Kun Tikkanen oli uskotellut virhemarginaalin olevan +/- 3 prosenttiyksikköä, niin tosiasiassa virhemarginaalit olivat 5,4–11,1 prosenttiyksikköä suuntaansa.

Esimerkiksi sdp:n kannattajista on Ylen kyselyn mukaan 83,6–94.4 prosenttia 95 prosentin todennäköisyydellä sitä mieltä, että valtion pitää turvata palvelut, niin että koko Suomi pysyy asuttuna. Vastaava keskustan kannattajia koskeva tulos on 84,3–95,7 prosenttia.

Lisäys 30.7.2018:

Ylen kyselyn julkaisemisen jälkeen julkisuudessa on totta kai esitetty ties millaisia väitteitä siitä, mitä kysely osoitti.

Yksi kummallisimmista väitteistä esitettiin maanantaiaamuna 30.7. Ylen uutisten nettisivuilla. Tämä väite ansaitsee tulla noteeratuksi postauksen lisäyksenä.

Muistutettakoon vielä tässä, mitä vastaajilta kysyttiin ja millaisin tuloksin. 79 % vastaajista oli sitä mieltä, että "valtion pitää turvata palvelut niin, että koko Suomi pysyy asuttuna".

Vihreä poliitikko, kolumnisti, tutkija, luennoitsija, kouluttaja Jukka Relander väitti nyt kyselyn osoittaneen, "että enemmistö suomalaisista haluaisi pitää mökkikuntansa asuttuna".

Tilastokeskuksen tietojen mukaan kesämökkejä on Suomessa reilut 500 000, kotitalouksia taas lähes 2,7 miljoonaa.

Jos Ylen kyselyn vastaajajoukko oli edustava myös kesämökkien omistuksen vinkkelistä, niin neljällä vastaajalla viidestä ei ollut kesämökkiä ollenkaan.

Miten ihmeessä tämä mökittömien suomalaisten huima enemmistö muka olisi voinut haluta pitää mökkikuntansa asuttuna? Koko ajatus on absurdi.

Minulla ei ikinä ole ollut kesämökkiä eikä siten myöskään "mökkikuntaa". Jos olisin ollut Ylen kyselyn vastaaja ja jos olisin käsittänyt Ylen utelevan, haluanko pitää mökkikuntani asuttuna, minulle olisi kiiruusti pitänyt pukea se paita, jonka pitkät hihat pistetään solmuun selän takana.