Faktavahti

Mielipidemittausuutisointimanipulointi

Politiikka-lehdessä julkaistiin muutama vuosi sitten (1/2012, s. 73–82) kiinnostava ja kriittinen analyysi "Mielipidemittausuutisointihutilointi". Se ruoti maan ykköslehden teettämien kyselyjen uutisoinnin laatua.

Tutkijat Matti Wiberg ja Siiri-Maija Heino analysoivat, antoiko Hesari gallupuutistensa lukijoille tarpeeksi tietoa kyselyjen toteutuksesta. Ilman riittävää tietoa kyselyn tekotavasta lukijat eivät voi arvioida kriittisesti kyselyn uskottavuutta. Tutkijat siis analysoivat todella tärkeää asiaa.

Analyysi HS:n "mielipidemittausuutisointihutiloinnista" on jäänyt aivan liian vähälle huomiolle. HS:n lukijoiden olisi syytä tietää, josko heidän lehtensä uutisoi teettämistään kyselyistä hutiloiden.

Analyysin tehneiden tutkijoiden ilmaisu "hutilointi" oli kuitenkin turhan kiltti kuvaamaan HS:n gallupuutisoinnin olemusta. Osuvammin ja vähemmän kiltisti sitä kuvaisi ilmaisu "manipulointi".

Hesari tarjoaa rahoittajilleen niin niukasti tietoa teettämiensä kyselyjen tekotavasta, että rahoittajat eivät voi juuri lainkaan arvioida uutisoitujen tulosten luotettavuutta.

Hesarin lukijat eivät tiedä, manipuloiko lehti heitä kyselyillään ja indoktrinoi eli ujuttaa heille lehden ikiomaa agendaa tukevia asenteita. Tästäkö syystä HS pihtaa tietoja gallupiensa tekotavasta?

8.5.2017 Helsingin Sanomat julkaisi sekä printissä että netissä näyttävän HS-gallupin suomalaisten alkoholipoliittisista mielipiteistä. Juttu toimikoon tässä konkreettisena esimerkkinä lehden tavasta toimia. Jutun nettiversion pitäisi avautua luettavaksesi tästä.

Kysely selvitti 15–79-vuotiaiden suomalaisten kantaa kahteen asiaan. Vastaajilta udeltiin, pitäisikö limuviinojen myynti sallia myös päivittäistavarakaupoissa ja pitäisikö valtion rajoittaa alkoholin saatavuutta Suomessa kansanterveydellisistä syistä.

Tällä otsikollaan HS myi gallupinsa printtilehden lukijoille. "Näin tutkimus tehtiin" -faktalaatikon teksti oli kaikki, mitä toimittaja Minna Pölkki kertoi meille HS:n rahoittajille kyselyn toteutuksesta. Wibergin ja Heinon analyysin kriteerein arvioituna tällainen "minimalismi" oli lievästi sanottuna hutilointia.

Tietojenkeruun menetelmän HS kertoi

HS:n toimittaja kertoi, että tutkimusaineisto kerättiin "tietokoneavusteisin puhelinhaastatteluin". Tällä tiedolla oli kyllä merkitystä. "Tietojenkeruun tavalla voi olla vaikutusta siihen, mihin ihmisryhmään kuuluvia henkilöitä tutkijat tavoittavat, tai siihen kuinka rehellisesti haastatellut vastaavat", Wiberg ja Heino huomauttivat.

Entä mistä ja miten vastaajat haalittiin?

Kyselyn tulokset herättivät uteliaisuuteni. Oliko vastaajat valittu satunnaisotantana, niin että joka ikisellä 15–79-vuotiaalla suomalaisella oli yhtä iso nollasta eroava todennäköisyys päästä otokseen?

Oliko vastaajat kenties noukittu jostain nettipaneelista, johon kuluttajahenkiset suomalaiset ovat hakeutuneet vastaajiksi?

Jos oli, se uskoakseni saattoi vaikuttaa reilustikin kyselyn tuloksiin. Mutta tästä HS:n Minna Pölkki ei suvainnut tarjota työnsä maksumiehille mitään tietoa.

Mihin jäi tieto otoskoosta tai vastausprosentista?

"Tutkimuksen yleistettävyyden arvioimiseksi tulisi tietää otoskoon lisäksi joko toteutunut vastanneiden määrä, vastausprosentti tai kadon osuus. Mikään näistä tiedoista yksinään ei riitä, vaan mahdollisuus tulosten vääristymiseen käy ilmi vasta verrattaessa otosta vastausprosenttiin."

Tätä mieltä olivat Wiberg ja Heino. Mitä HS:n Minna Pölkki meille sitten kertoi? Hän kertoi meille pelkästään vastaajien määrän: 1 002 ihmistä.

Koska Pölkki ei kertonut alkuperäistä otoskokoa tai vastausprosenttia, emme osanneet olla tarpeeksi varuillamme. Olemme hyvinkin voineet tulla höynäytetyiksi.

Jos saisimme tietää, että vastausprosentti oli vaikkapa 10, 20 tai 30, tietäisimme suhtautua tuloksiin riittävän epäluuloisesti.

Katoon eli vastaamattomien joukkoon kuuluvat nimittäin voivat olla hyvinkin eri mieltä limuviinoista ja alkoholin saatavuuden rajoittamisesta kuin vastaajiksi suostuneet. Tätä emme kuitenkaan tiedä.

Mihin jäi tieto osajoukkojen koosta?

Wiberg ja Heino korostivat analyysissaan, että "käytettyjen osajoukkojen koot tulisi mainita uutisessa, jälleen kerran otoksen edustavuuden arvioimiseksi".

Näitä tietoja HS:n toimittaja ei katsonut aiheelliseksi meille kertoa. Sen sijaan hän kertoi juttunsa Fakta-lodjussa: "Tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa."

Tämä tieto päti kuitenkin vain niihin tuloksiin, jotka oli saatu koko vastaajajoukosta. Niihinkin tuloksiin tieto virhemarginaalista päti vain yhdellä edellytyksellä. Tieto päti vain, jos vastaajat oli todella valittu satunnaisotantana, niin että kaikilla 15–79-vuotiailla suomalaisilla oli yhtä suuri nollasta eroava todennäköisyys tulla valituksi otokseen.

Valtaosa HS:n lukijoille kerrotuista tuloksista ei kuitenkaan perustunut vastaajien koko määrään. Niinpä toimittaja huiputtikin meitä tiedollaan virhemarginaalista: se ei päde alkuunkaan niihin tuloksiin, jotka perustuivat osasotoksiin.

Alla olevassa gallupjutun grafiikassa vaalean sininen tarkoitti vastausta "luultavasti ei pitäisi" ja tumman sininen vastausta "ehdottomasti ei pitäisi".

"Tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa."

Hesari ei varoittanut lukijoita sanallakaan siitä, että osaotoksiin – esimerkiksi alle 100 vastaajan mikro-otoksiin – perustuvat tulokset olivat otantasattuman takia paljon epävarmempia kuin 1 002 vastaajaan perustuneet tulokset.

Tieto ± 3 prosenttiyksikön virhemarginaalista oli lukijoiden suoranaista huijausta, kuten seuraava asetelma osoittaa.

Asetelman osaotosten lukuja laskiessani tein ensinnäkin sen oletuksen, että eri puolueiden kannatus vastaajien joukossa oli sama kuin juuri käydyissä kuntavaaleissa. Tältä pohjalta laskin, kuinka monta kunkin puolueen kannattajaa vastaajien joukossa piti olla, jotta joukko oli edustava.

Työttömien osaotoksen kokoa laskiessani käytin Tilastokeskuksen lukua maaliskuulta: noin 260 000. Jos työttömien osuus vastaajajoukossa oli sama kuin työttömien osuus kaikista 15–79-vuotiaista eli 6 prosenttia, niin työttömiä vastaajia oli kaikkiaan vain mitättömät 60.

Eläkeläisten osaotoksen luvut perustuvat Eläketurvakeskuksen tilastoihin: 15–79-vuotiaita eläkeläisiä on noin 1,2 miljoonaa. Kaikkiaan 15–79-vuotiaita suomalaisia on noin 4,3 miljoonaa.

Osaotosten vastaajat (kpl) ja virhemarginaalit (± pros.yks.)

KOKOOMUS (207)	± 6,3–6.5    (HS: ± 3)
SOSIALIDEMOKRAATIT (194)	± 6,7–6,4    (HS: ± 3)
KESKUSTA (175)	± 7,2–5,9    (HS: ± 3)
VIHREÄT (125)	± 8,1–7,5    (HS: ± 3)
VASEMMISTO (88)	± 9,5–8,0    (HS: ± 3)
PERUSSUOMALAISET (88)	± 8,5–10,2  (HS: ± 3)
TYÖTTÖMÄT (60)	± 11,4–11,4 (HS: ± 3)
ELÄKELÄISET (280)	± 5,4–5,3    (HS: ± 3)

Asetelmassa puolueen kohdalla oleva ensimmäinen virhemarginaaliluku kuvaa "luultavasti ei pitäisi" -vastauksiin liittyvää epävarmuutta. Esimerkiksi kokoomuslaisten vastaajien tapauksessa tämä luku on ± 6,3 prosenttiyksikköä.

Jäljempi virhemarginaaliluku kuvaa "ehdottomasti ei pitäisi" -vastauksiin liittyvää epävarmuutta. Esimerkiksi perussuomalaisten vastaajien tapauksessa tämä luku on ± 10,2 prosenttiyksikköä.

Asetelmasta voi nyt nähdä, että osaotosten virhemarginaalit ovat 1,7–3,8-kertaiset HS:n väittämään verrattuna. Pölkin peräti "faktana" kertoma noin ± 3 prosenttiyksikön virhemarginaali johti lukijoita tosi pahasti harhaan.

Osaotostulosten tosi suuren epävarmuuden takia emme voi tietää, pitikö esimerkiksi se Pölkin tieto kutinsa, että puolueiden kannattajista alkoholin saatavuuden rajoituksia ehdottomasti vastustavia oli "selvästi eniten" eli 40 prosenttia perussuomalaisten joukossa.

95 prosentin todennäköisyydellä näitä viinan saatavuuden rajoituksia ehdottomasti vastustavia oli persuista 30–50 prosenttia. Kokoomuslaisista näitä ehdottomasti vastustavia oli 28–41 prosenttia. 

Jo näissä luottamusväleissä oli niin paljon päällekkäisyyttä (30–41), että "selvästi eniten" viinan saatavuuden rajoituksia ehdottomasti vastustavia ei välttämättä ole juuri persujen joukossa. Otantasattuma on oikullinen ilmiö.

Kun mielipidetutkimuksen teettäjä johtaa yleisöä näin pahasti harhaan, herää pakostakin kysymys myös siitä, mikä on kyselyn tehneen yrityksen, tässä tapauksessa Kantar TNS:n vastuu. 

Kantar TNS:n ekspertit ovat totta kai täysin tietoisia siitä, kuinka harhaanjohtava on väite, että "tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa". 

Niinpä voikin kysyä, onko Kantar TNS huomauttanut Helsingin Sanomille, että sen tulisi korjata vääristelty tieto kyselyn ulkoisesta luotettavuudesta. Jos HS ei korjaa hämäystään, tuleeko Kantar TNS itse julkisuuteen ja korjaa harhaanjohtavan tiedon? Tunteeko se mitään vastuuta yleisöstä?

Yhdysvalloissa vaikuttava surveyn ammattilaisten järjestö AAPOR eli American Association for Public Opinion Research korostaa marraskuussa 2015 päivitetyssä eettisessä koodissaan vahvasti tutkimuslaitostenkin vastuuta yleisölle:

"We will correct factual misrepresentations or distortions of data or analysis, including those made by our research partners, co-investigators, sponsors, or clients. We will make good faith efforts to issue corrective statements to all parties who were presented with the factual misrepresentations or distortions, and if such factual misrepresentations or distortions were made publicly, we will correct them in a public forum that is as similar as possible."

Kantar TNS puolestaan kertoo laadustaan ja vastuullisuudestaan yrityksen sivuilla näin: "Suomen Markkinatutkimusliitto ry:n jäsenyrityksenä noudatamme ISO 20252 -laatustandardia, joka takaa luotettavat, läpinäkyvät ja eettisesti kestävät tutkimuspalvelut."

Markkinatutkimusliitto SMTL ry vakuuttaa kotisivuillaan, että "uutta laatustandardia noudattavat markkinatutkimusyritykset takaavat eettisesti kestävän toiminnan sekä vastaajia että toimeksiantajia kohtaan". Miten on, takaako uusi laatustandardi eettisesti kestävän toiminnan myös median yleisöjä kohtaan?

HS-gallup ja THL:n tulokset alkoholipoliittisista mielipiteistä

3.5.2017 Terveyden ja hyvinvoinnin laitos THL julkaisi tilastoraportin "Alkoholipoliittiset mielipiteet 2016–2017". Raportin voi lukea tästä.

THL:n raportissa esiteltyjen kyselyjen mukaan "nykyisen ja nykyistä tiukemman alkoholipolitiikan kannalla on kyselystä riippuen 60–63 prosenttia vastaajista".

Juuri nämä tulokset herättivät uteliaisuuteni, ja aloin funtsia HS-gallupin luotettavuutta. HS-gallup nimittäin näytti kertovan, voisiko sanoa, jopa aivan vastakkaista tarinaa kuin THL:n kyselyt.

HS-gallup kertoi meille, että 60 prosenttia 15–79-vuotiaista suomalaisista vastustaa sitä, että valtio rajoittaa alkoholin saatavuutta kansanterveydellisistä syistä.

Koska tulokset näyttivät kovin ristiriitaisilta, kysyin HS:n toimittajalta sähköpostitse, miten vastaajat kyselyyn oli valittu, oliko heidät kenties noukittu jostain kuluttajapaneelista vai ei.

Utelin samalla tietoa osaotosten koosta ja kyselyn vastausprosentista eli asioista, jotka yleisön pitäisi Wibergin ja Heinon mukaan totta kai saada tietää.

Vastaus 8.5. lähetettyihin kysymyksiin tuli 12.5., ja se oli kokonaisuudessaan tällainen: "Kiitos palautteesta."

Kun en saanut tietoa käytetystä otantakehikosta, aloin funtsia, voisiko erikoiselta vaikuttavaa tulosta alkoholin saatavuuden rajoittamisesta selittää myös yhteys, jossa kysymys on vastaajille esitetty.

Surveyn eksperteillä on kosolti tutkittua tietoa siitä, että tuloksiin voi vaikuttaa tuntuvastikin se, millaisten muiden kysymysten yhteydessä tutkimuskysymys esitetään. Kysymysten järjestyskin vaikuttaa.

Tästä syystä Tilastokeskuksen surveylaboratorion tutkija Petri Godenhjelm esimerkiksi muistutti meitä asiasta jo viitisentoista vuotta sitten (Hyvinvointikatsaus 4/2002, s. 45) tähän tapaan:

"Tiedon käyttäjillä ja tulosten tulkitsijoillakin pitäisi olla tieto tiedonkeruuympäristön kontekstuaalisista tekijöistä, jotta he pystyisivät arvioimaan kerätyn tiedon pätevyysaluetta."

Tutkijan toteama "kontekstuaalinen tekijä" HS-gallupissa oli se toinen kysymys eli kysymys siitä, pitäisikö limuviinojen myynti sallia myös päivittäistavarakaupoissa.

Limuviinakysymyksen viesti vastaajille oli se, että nyt keskustellaan alkoholin saatavuuden lisäämisestä. Kohta viattomalta kuulostavaa "limua" saa kenties päivittäistavarakaupoistakin.

Tällaisen viestin yhteydessä saattoikin jo monista tuntua vähän erikoiselta ajatus, että valtion pitäisi päinvastoin rajoittaa alkoholin saatavuutta kansanterveydellisistä syistä.

Tilastokeskuksen surveylaboratorion tutkijat kaiketi osaisivat kertoa, onko limuviinakysymyksen yhteys saattanut vaikuttaa vastaajiin, kun he ottivat kantaa alkoholin saatavuuden rajoittamiseen.

Hesari gallupinsa tilaajana puolestaan osaisi varmasti kertoa sen, oliko limunviinakysymyksen tarkoituskin toimia "kontekstuaalisena tekijänä", jotta saatavuuskysymys tuottaisi "oikean" tuloksen.