HS-gallup: "Enemmistö vastustaa 

'aktiivimalli kakkosta'"

Helsingin Sanomat julkaisi lauantaina 30.6.2018 näyttävän jutun teettämästään gallupista, joka osoittaa, että enemmistö suomalaisista vastustaa "aktiivimalli kakkosta".

Teemu Muhosen jutun mukaan "hallituksen esitystä kannattaa joka kolmas suomalainen" (30 %), "enemmistö vastustaa" (61 %).

Koko lailla erikoista on se, että Hesari tivasi 15–74-vuotiailta suomalaisilta kantaa "aktiivimalli kakkoseen" jo ennen kuin vastaajien oli mahdollista tietää hallituksen esityksen yksityiskohdista.

Muhosen jutun Fakta-lodjusta käy ilmi, että HS-gallupin haastattelut tehtiin 20.–27.6.2018. Jos HS:n tämän päivän jutun tiedot pitävät kutinsa, "aktiivimalli kakkonen" esiteltiin vastaajille tästä taulukosta ilmenevällä tavalla:

Vastaajat siis ottivat kantaa tällaiseen "aktiivimalli kakkoseen": "Työttömän pitäisi hakea vähintään neljää työpaikkaa kuukaudessa. Jos näin ei tee, työttömyysturvan maksu katkaistaisiin varoituksen jälkeen."

Torstaina 28.6.2018 eli päivä sen jälkeen, kun Kantar-TNS oli lakannut tekemästä HS-gallupin haastatteluja, Hesari julkaisi nettilehdessään tällaisen uutisen:

Tästä uutisesta HS-gallupin vastaajat ja muut Hesarin "vastuullisen journalismin" uhrit saivat tietää, ettei velvoite neljästä työnhausta kuussa koskenutkaan kaikkia työttömiä. Vastaajille juuri sitä oli kuitenkin uskoteltu.

"Joissain tapauksissa velvoite voi olla neljää pienempi", Teemu Muhonen kertoi uutisessaan. Siitä kävi ilmi, että työministeri Jari Lindström (sin.) oli aamulla 28.6. esitellyt hallituksen esityksen luonnosta medialle.

Ministeriön sivuilla julkaistuista "omatoimisen työnhaun" mallia koskevista kysymyksistä ja vastauksista käy ilmi muun muassa, miten montaa työmahdollisuutta työttömän tulisi hakea:

"Haettavien työmahdollisuuksien määrä määriteltäisiin työllistymissuunnitelmassa. Työnhakijalta, joka voi hakea töitä itsenäisesti ja jolla on hyvät mahdollisuudet saada työtä, edellytettäisiin neljän työmahdollisuuden hakemista kuukauden aikana.

Jos työtön tarvitsee työnhakuunsa ja työllistymiseensä tukea, haettavien työmahdollisuuksien määrä ja palvelut sovitettaisiin hänen tilanteeseensa. Haettavien työmahdollisuuksien määrä olisi matalampi tai hakua ei edellytettäisi lainkaan."

Herra paratkoon, "aktiivimalli kakkonenhan" ei ollut läheskään niin yksioikoinen, kuin gallupin vastaajille oli uskoteltu.

Neljän työpaikan hakemista kuussa vaadittaisiinkin vain niiltä työttömiltä, jotka voivat hakea töitä itsenäisesti ja joilla on hyvät saumat työllistyä.

HS-gallupin kysymys kuvasi hallituksen esitystä niin falskisti, että sen perusteella on mahdotonta tietää, kuinka monet kannattavat ja vastustavat hallituksen kaavailemaa "aktiivimalli kakkosta".

Kuinka monia vaatimus neljän työpaikan hausta kuussa koskisi?

Yritin vähän tutkailla, kuinka pahoin HS-gallupin kysymys johti vastaajia harhaan, eli kuinka monia työttömiä vaatimus neljän työpaikan hausta kuussa koskisi. Vaikeasti työllistyviä vaatimus ei TEM:n edellä mainitun vastauksen mukaan näyttäisi koskevan.

Vaikeasti työllistyviä ovat ensinnäkin pitkäaikaistyöttömät. Vaikeasti työllistyviin kuuluvat myös ne, jotka joutuvat toistuvasti työttömiksi, jäävät palvelujen jälkeen työttömiksi ja jotka pyörivät toistuvasti erilaisissa työvoimahallinnon palveluissa.

TEM:n vuoden 2018 tulostavoitteen mukaan vaikeasti työllistyvien määrä pitäisi saada laskemaan alle 186 550:n. Tammi–toukokuun aikana työttömiä työnhakijoita oli TEM:n tilaston mukaan kuukausittain keskimäärin noin 264 500.

Näin ajatellen ja laskien siis suurin piirtein kahta kolmasosaa työttömistä HS-gallupin kysymyksen tieto vähintään neljän työpaikan hausta kuussa ei koskisi.

HS-gallupin huti näyttäisi siten olleen niin paha, että moiselle kyselylle ei ehkä kannattaisi antaa sentinkään arvoa. Sen sijaan tulisi esittää kriittisiä kysymyksiä siitä, mitä tarkoitusta varten HS moisia "kyselyjä" teettää.

Mielipidemittausuutisointimanipulointi

Politiikka-lehdessä julkaistiin muutama vuosi sitten (1/2012, s. 73–82) kiinnostava ja kriittinen analyysi "Mielipidemittausuutisointihutilointi". Se ruoti maan ykköslehden teettämien kyselyjen uutisoinnin laatua.

Tutkijat Matti Wiberg ja Siiri-Maija Heino analysoivat, antoiko Hesari gallupuutistensa lukijoille tarpeeksi tietoa kyselyjen toteutuksesta. Ilman riittävää tietoa kyselyn tekotavasta lukijat eivät voi arvioida kriittisesti kyselyn uskottavuutta. Tutkijat siis analysoivat todella tärkeää asiaa.

Analyysi HS:n "mielipidemittausuutisointihutiloinnista" on jäänyt aivan liian vähälle huomiolle. HS:n lukijoiden olisi syytä tietää, josko heidän lehtensä uutisoi teettämistään kyselyistä hutiloiden.

Analyysin tehneiden tutkijoiden ilmaisu "hutilointi" oli kuitenkin turhan kiltti kuvaamaan HS:n gallupuutisoinnin olemusta. Osuvammin ja vähemmän kiltisti sitä kuvaisi ilmaisu "manipulointi".

Hesari tarjoaa rahoittajilleen niin niukasti tietoa teettämiensä kyselyjen tekotavasta, että rahoittajat eivät voi juuri lainkaan arvioida uutisoitujen tulosten luotettavuutta.

Hesarin lukijat eivät tiedä, manipuloiko lehti heitä kyselyillään ja indoktrinoi eli ujuttaa heille lehden ikiomaa agendaa tukevia asenteita. Tästäkö syystä HS pihtaa tietoja gallupiensa tekotavasta?

8.5.2017 Helsingin Sanomat julkaisi sekä printissä että netissä näyttävän HS-gallupin suomalaisten alkoholipoliittisista mielipiteistä. Juttu toimikoon tässä konkreettisena esimerkkinä lehden tavasta toimia. Jutun nettiversion pitäisi avautua luettavaksesi tästä.

Kysely selvitti 15–79-vuotiaiden suomalaisten kantaa kahteen asiaan. Vastaajilta udeltiin, pitäisikö limuviinojen myynti sallia myös päivittäistavarakaupoissa ja pitäisikö valtion rajoittaa alkoholin saatavuutta Suomessa kansanterveydellisistä syistä.

Tällä otsikollaan HS myi gallupinsa printtilehden lukijoille. "Näin tutkimus tehtiin" -faktalaatikon teksti oli kaikki, mitä toimittaja Minna Pölkki kertoi meille HS:n rahoittajille kyselyn toteutuksesta. Wibergin ja Heinon analyysin kriteerein arvioituna tällainen "minimalismi" oli lievästi sanottuna hutilointia.

Tietojenkeruun menetelmän HS kertoi

HS:n toimittaja kertoi, että tutkimusaineisto kerättiin "tietokoneavusteisin puhelinhaastatteluin". Tällä tiedolla oli kyllä merkitystä. "Tietojenkeruun tavalla voi olla vaikutusta siihen, mihin ihmisryhmään kuuluvia henkilöitä tutkijat tavoittavat, tai siihen kuinka rehellisesti haastatellut vastaavat", Wiberg ja Heino huomauttivat.

Entä mistä ja miten vastaajat haalittiin?

Kyselyn tulokset herättivät uteliaisuuteni. Oliko vastaajat valittu satunnaisotantana, niin että joka ikisellä 15–79-vuotiaalla suomalaisella oli yhtä iso nollasta eroava todennäköisyys päästä otokseen?

Oliko vastaajat kenties noukittu jostain nettipaneelista, johon kuluttajahenkiset suomalaiset ovat hakeutuneet vastaajiksi?

Jos oli, se uskoakseni saattoi vaikuttaa reilustikin kyselyn tuloksiin. Mutta tästä HS:n Minna Pölkki ei suvainnut tarjota työnsä maksumiehille mitään tietoa.

Mihin jäi tieto otoskoosta tai vastausprosentista?

"Tutkimuksen yleistettävyyden arvioimiseksi tulisi tietää otoskoon lisäksi joko toteutunut vastanneiden määrä, vastausprosentti tai kadon osuus. Mikään näistä tiedoista yksinään ei riitä, vaan mahdollisuus tulosten vääristymiseen käy ilmi vasta verrattaessa otosta vastausprosenttiin."

Tätä mieltä olivat Wiberg ja Heino. Mitä HS:n Minna Pölkki meille sitten kertoi? Hän kertoi meille pelkästään vastaajien määrän: 1 002 ihmistä.

Koska Pölkki ei kertonut alkuperäistä otoskokoa tai vastausprosenttia, emme osanneet olla tarpeeksi varuillamme. Olemme hyvinkin voineet tulla höynäytetyiksi.

Jos saisimme tietää, että vastausprosentti oli vaikkapa 10, 20 tai 30, tietäisimme suhtautua tuloksiin riittävän epäluuloisesti.

Katoon eli vastaamattomien joukkoon kuuluvat nimittäin voivat olla hyvinkin eri mieltä limuviinoista ja alkoholin saatavuuden rajoittamisesta kuin vastaajiksi suostuneet. Tätä emme kuitenkaan tiedä.

Mihin jäi tieto osajoukkojen koosta?

Wiberg ja Heino korostivat analyysissaan, että "käytettyjen osajoukkojen koot tulisi mainita uutisessa, jälleen kerran otoksen edustavuuden arvioimiseksi".

Näitä tietoja HS:n toimittaja ei katsonut aiheelliseksi meille kertoa. Sen sijaan hän kertoi juttunsa Fakta-lodjussa: "Tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa."

Tämä tieto päti kuitenkin vain niihin tuloksiin, jotka oli saatu koko vastaajajoukosta. Niihinkin tuloksiin tieto virhemarginaalista päti vain yhdellä edellytyksellä. Tieto päti vain, jos vastaajat oli todella valittu satunnaisotantana, niin että kaikilla 15–79-vuotiailla suomalaisilla oli yhtä suuri nollasta eroava todennäköisyys tulla valituksi otokseen.

Valtaosa HS:n lukijoille kerrotuista tuloksista ei kuitenkaan perustunut vastaajien koko määrään. Niinpä toimittaja huiputtikin meitä tiedollaan virhemarginaalista: se ei päde alkuunkaan niihin tuloksiin, jotka perustuivat osasotoksiin.

Alla olevassa gallupjutun grafiikassa vaalean sininen tarkoitti vastausta "luultavasti ei pitäisi" ja tumman sininen vastausta "ehdottomasti ei pitäisi".

"Tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa."

Hesari ei varoittanut lukijoita sanallakaan siitä, että osaotoksiin – esimerkiksi alle 100 vastaajan mikro-otoksiin – perustuvat tulokset olivat otantasattuman takia paljon epävarmempia kuin 1 002 vastaajaan perustuneet tulokset.

Tieto ± 3 prosenttiyksikön virhemarginaalista oli lukijoiden suoranaista huijausta, kuten seuraava asetelma osoittaa.

Asetelman osaotosten lukuja laskiessani tein ensinnäkin sen oletuksen, että eri puolueiden kannatus vastaajien joukossa oli sama kuin juuri käydyissä kuntavaaleissa. Tältä pohjalta laskin, kuinka monta kunkin puolueen kannattajaa vastaajien joukossa piti olla, jotta joukko oli edustava.

Työttömien osaotoksen kokoa laskiessani käytin Tilastokeskuksen lukua maaliskuulta: noin 260 000. Jos työttömien osuus vastaajajoukossa oli sama kuin työttömien osuus kaikista 15–79-vuotiaista eli 6 prosenttia, niin työttömiä vastaajia oli kaikkiaan vain mitättömät 60.

Eläkeläisten osaotoksen luvut perustuvat Eläketurvakeskuksen tilastoihin: 15–79-vuotiaita eläkeläisiä on noin 1,2 miljoonaa. Kaikkiaan 15–79-vuotiaita suomalaisia on noin 4,3 miljoonaa.

Osaotosten vastaajat (kpl) ja virhemarginaalit (± pros.yks.)

KOKOOMUS (207)	± 6,3–6.5    (HS: ± 3)
SOSIALIDEMOKRAATIT (194)	± 6,7–6,4    (HS: ± 3)
KESKUSTA (175)	± 7,2–5,9    (HS: ± 3)
VIHREÄT (125)	± 8,1–7,5    (HS: ± 3)
VASEMMISTO (88)	± 9,5–8,0    (HS: ± 3)
PERUSSUOMALAISET (88)	± 8,5–10,2  (HS: ± 3)
TYÖTTÖMÄT (60)	± 11,4–11,4 (HS: ± 3)
ELÄKELÄISET (280)	± 5,4–5,3    (HS: ± 3)

Asetelmassa puolueen kohdalla oleva ensimmäinen virhemarginaaliluku kuvaa "luultavasti ei pitäisi" -vastauksiin liittyvää epävarmuutta. Esimerkiksi kokoomuslaisten vastaajien tapauksessa tämä luku on ± 6,3 prosenttiyksikköä.

Jäljempi virhemarginaaliluku kuvaa "ehdottomasti ei pitäisi" -vastauksiin liittyvää epävarmuutta. Esimerkiksi perussuomalaisten vastaajien tapauksessa tämä luku on ± 10,2 prosenttiyksikköä.

Asetelmasta voi nyt nähdä, että osaotosten virhemarginaalit ovat 1,7–3,8-kertaiset HS:n väittämään verrattuna. Pölkin peräti "faktana" kertoma noin ± 3 prosenttiyksikön virhemarginaali johti lukijoita tosi pahasti harhaan.

Osaotostulosten tosi suuren epävarmuuden takia emme voi tietää, pitikö esimerkiksi se Pölkin tieto kutinsa, että puolueiden kannattajista alkoholin saatavuuden rajoituksia ehdottomasti vastustavia oli "selvästi eniten" eli 40 prosenttia perussuomalaisten joukossa.

95 prosentin todennäköisyydellä näitä viinan saatavuuden rajoituksia ehdottomasti vastustavia oli persuista 30–50 prosenttia. Kokoomuslaisista näitä ehdottomasti vastustavia oli 28–41 prosenttia. 

Jo näissä luottamusväleissä oli niin paljon päällekkäisyyttä (30–41), että "selvästi eniten" viinan saatavuuden rajoituksia ehdottomasti vastustavia ei välttämättä ole juuri persujen joukossa. Otantasattuma on oikullinen ilmiö.

Kun mielipidetutkimuksen teettäjä johtaa yleisöä näin pahasti harhaan, herää pakostakin kysymys myös siitä, mikä on kyselyn tehneen yrityksen, tässä tapauksessa Kantar TNS:n vastuu. 

Kantar TNS:n ekspertit ovat totta kai täysin tietoisia siitä, kuinka harhaanjohtava on väite, että "tutkimustulosten virhemarginaali on noin kolme prosenttiyksikköä suuntaansa". 

Niinpä voikin kysyä, onko Kantar TNS huomauttanut Helsingin Sanomille, että sen tulisi korjata vääristelty tieto kyselyn ulkoisesta luotettavuudesta. Jos HS ei korjaa hämäystään, tuleeko Kantar TNS itse julkisuuteen ja korjaa harhaanjohtavan tiedon? Tunteeko se mitään vastuuta yleisöstä?

Yhdysvalloissa vaikuttava surveyn ammattilaisten järjestö AAPOR eli American Association for Public Opinion Research korostaa marraskuussa 2015 päivitetyssä eettisessä koodissaan vahvasti tutkimuslaitostenkin vastuuta yleisölle:

"We will correct factual misrepresentations or distortions of data or analysis, including those made by our research partners, co-investigators, sponsors, or clients. We will make good faith efforts to issue corrective statements to all parties who were presented with the factual misrepresentations or distortions, and if such factual misrepresentations or distortions were made publicly, we will correct them in a public forum that is as similar as possible."

Kantar TNS puolestaan kertoo laadustaan ja vastuullisuudestaan yrityksen sivuilla näin: "Suomen Markkinatutkimusliitto ry:n jäsenyrityksenä noudatamme ISO 20252 -laatustandardia, joka takaa luotettavat, läpinäkyvät ja eettisesti kestävät tutkimuspalvelut."

Markkinatutkimusliitto SMTL ry vakuuttaa kotisivuillaan, että "uutta laatustandardia noudattavat markkinatutkimusyritykset takaavat eettisesti kestävän toiminnan sekä vastaajia että toimeksiantajia kohtaan". Miten on, takaako uusi laatustandardi eettisesti kestävän toiminnan myös median yleisöjä kohtaan?

HS-gallup ja THL:n tulokset alkoholipoliittisista mielipiteistä

3.5.2017 Terveyden ja hyvinvoinnin laitos THL julkaisi tilastoraportin "Alkoholipoliittiset mielipiteet 2016–2017". Raportin voi lukea tästä.

THL:n raportissa esiteltyjen kyselyjen mukaan "nykyisen ja nykyistä tiukemman alkoholipolitiikan kannalla on kyselystä riippuen 60–63 prosenttia vastaajista".

Juuri nämä tulokset herättivät uteliaisuuteni, ja aloin funtsia HS-gallupin luotettavuutta. HS-gallup nimittäin näytti kertovan, voisiko sanoa, jopa aivan vastakkaista tarinaa kuin THL:n kyselyt.

HS-gallup kertoi meille, että 60 prosenttia 15–79-vuotiaista suomalaisista vastustaa sitä, että valtio rajoittaa alkoholin saatavuutta kansanterveydellisistä syistä.

Koska tulokset näyttivät kovin ristiriitaisilta, kysyin HS:n toimittajalta sähköpostitse, miten vastaajat kyselyyn oli valittu, oliko heidät kenties noukittu jostain kuluttajapaneelista vai ei.

Utelin samalla tietoa osaotosten koosta ja kyselyn vastausprosentista eli asioista, jotka yleisön pitäisi Wibergin ja Heinon mukaan totta kai saada tietää.

Vastaus 8.5. lähetettyihin kysymyksiin tuli 12.5., ja se oli kokonaisuudessaan tällainen: "Kiitos palautteesta."

Kun en saanut tietoa käytetystä otantakehikosta, aloin funtsia, voisiko erikoiselta vaikuttavaa tulosta alkoholin saatavuuden rajoittamisesta selittää myös yhteys, jossa kysymys on vastaajille esitetty.

Surveyn eksperteillä on kosolti tutkittua tietoa siitä, että tuloksiin voi vaikuttaa tuntuvastikin se, millaisten muiden kysymysten yhteydessä tutkimuskysymys esitetään. Kysymysten järjestyskin vaikuttaa.

Tästä syystä Tilastokeskuksen surveylaboratorion tutkija Petri Godenhjelm esimerkiksi muistutti meitä asiasta jo viitisentoista vuotta sitten (Hyvinvointikatsaus 4/2002, s. 45) tähän tapaan:

"Tiedon käyttäjillä ja tulosten tulkitsijoillakin pitäisi olla tieto tiedonkeruuympäristön kontekstuaalisista tekijöistä, jotta he pystyisivät arvioimaan kerätyn tiedon pätevyysaluetta."

Tutkijan toteama "kontekstuaalinen tekijä" HS-gallupissa oli se toinen kysymys eli kysymys siitä, pitäisikö limuviinojen myynti sallia myös päivittäistavarakaupoissa.

Limuviinakysymyksen viesti vastaajille oli se, että nyt keskustellaan alkoholin saatavuuden lisäämisestä. Kohta viattomalta kuulostavaa "limua" saa kenties päivittäistavarakaupoistakin.

Tällaisen viestin yhteydessä saattoikin jo monista tuntua vähän erikoiselta ajatus, että valtion pitäisi päinvastoin rajoittaa alkoholin saatavuutta kansanterveydellisistä syistä.

Tilastokeskuksen surveylaboratorion tutkijat kaiketi osaisivat kertoa, onko limuviinakysymyksen yhteys saattanut vaikuttaa vastaajiin, kun he ottivat kantaa alkoholin saatavuuden rajoittamiseen.

Hesari gallupinsa tilaajana puolestaan osaisi varmasti kertoa sen, oliko limunviinakysymyksen tarkoituskin toimia "kontekstuaalisena tekijänä", jotta saatavuuskysymys tuottaisi "oikean" tuloksen.