Lukukausimaksukeskustelussa on puhuttu sosioekonomisesta liikkuvuudesta. Tätä voidaan mitata monilla eri tavoilla. Joillakin mittareilla muutokset voidaan havaita nopeammin, ja joillakin hitaammin. Jos katsotaan lasten elinkaaritulojen korrelaatiota vanhempien elinkaarituloihin, täytyy odottaa, että lapsi pääsee elinkaarensa loppuun. Jos taas katsotaan lapsen kouluttautumisen korrelaatiota vanhempien koulutustasoon, aikaisempi tarkastelu riittänee, koska suurin osa on päässyt "lopulliselle" koulutustasolleen jo kolmekymppisenä.
Yksinkertaisimmin meillä on reformi, ja vertaamme korkeakouluopiskelijoiden jakaumaa ennen ja jälkeen reformin, tai vaihtoehtoisesti tehdään jonkinlaista diff-in-diff-tarkastelua jos löytyy hyvä ulkopuolinen verrokkiryhmä.
Etlan muistiossa, josta tämä viimeisin keskustelu maalis-huhtikuun taitteessa syntyi, viitataan kahteen tuoreeseen tutkimukseen lukukausimaksujen vaikutuksista opiskelijoiden jakaumaan taustan suhteen. Ensimmäinen näistä tarkastelee Irlannissa tehtyä reformia, ja jälkimmäinen Englannissa tehtyä reformia. Esittelen tässä kirjoituksessa nuo paperit, niiden asetelman ja tulokset, sekä kommentoin lyhyesti sitä, mitä niistä voidaan oppia.
Ja jos puhut näistä papereista, älä puhu "Briteissä" tehdyistä tutkimuksista tai "Brittien" tai edes "Brittein saarten" kokemuksista. Voin kertoa, että irlantilaiset eivät olisi tällaisesta puhetavasta mielissään.
Irlanti: lukukausimaksut poistettiin (paitsi köyhiltä, jotka eivät niitä maksaneet alkujaankaan)
Denny (2014) tarkastelee lukukausimaksujen poistoa Irlannissa. Koko reformin, joka koski EU-opiskelijoiden (sis. irlantilaiset, luonnollisesti) ensimmäistä kanditutkintoa, tarkoitus oli lisätä tasa-arvoa ja vähentää kouluttautumisen esteitä. Kuitenkin:
The main results and these robustness tests demonstrate clearly that the policy of abolishing university fees did nothing with regard to improving access to university amongst low SES students which was a stated objective of the policy. Bearing in mind that most low income students would typically not have been paying university fees (since most would be in receipt of the Higher Education grant) one would not expect a reform which largely benefitted better off students to somehow benefit low SES students.
Viimeinen lause on mielenkiintoinen. Miksi lukukausimaksujen poisto hyödytti korkeammista SES-taustoista tulevia opiskelijoita? On hyvä tietää, että matalimmista SES-taustoista tulevat opiskelijat eivät maksaneet lukukausimaksuja ennenkään reformia, koska heitä varten oli stipendijärjestelmä. Itse asiassa Dennyn mukaan ennen reformia 30 % University College Dublinin kandiopiskelijoista sai tätä High Education Grantia lukukausimaksusta selviytymiseen.
Reformi siis lisäsi korkeakouluihin hakemista korkeammissa SES-taustoissa, mikä teki vaikeammaksi korkeakouluun pääsemisen matalammista SES-taustoista. Tätä taustaa vasten ei ole mitenkään yllättävää, että reformi ei lisännyt matalampien SES-taustojen korkeakouluttautumista. Kuten Denny kirjoittaa, lukukausimaksujen poisto hyödytti parempiosaisia.
(Asiassa on vielä sekin, että lukukausimaksujen lisäksi, ja niiden poiston jälkeenkin, on olemassa "rekisteröintimaksu", joka esimerkiksi UCD:ssä on 3000 euroa (on syytä muistaa, että tämä on se maa joka antoi Euroopalle Ryanairin). Käsittääkseni tähän on jälleen oma stipendi-ohjelmansa, minkä jälkeen maksettavaa jää enää 247 euroa.)
Englanti: lukukausimaksuja nostettiin, ja stipendimenoja siinä samalla
Siinä missä Denny (2014) on hyvässä lehdessä vertaisarvioitu tutkimus, Sá (2014) on jossain lehdessä arvioitavana oleva työpaperi. Sá tarkastelee sekä Skotlannissa vuonna 2001 tehtyä reformia että Englannissa vuonna 2012 tehtyä reformia, mutta opiskelijoiden taustojen mukainen tarkastelu tehdään vain jälkimmäisen reformin osalta.
Opiskelijoiden vanhempien koulutus- tai tulotasoa ei havaita, ja näiden sijasta käytetään heidän etnisyyttään ja opintoja edeltävää asuinpaikkaansa. Opiskelijoiden valikoitumista tarkastellaan näiden asuinpaikkojen ominaisuuksien (koulutustaso) perusteella. Tämän voi nähdä suoraan opiskelijan taustana, tai epätarkkana mittarina perhetaustalle.
Englannin reformissa lukukausimaksukattoa nostettiin reippaasti 3375 punnasta 9000 puntaan. Tutkimuksessa käytetään ns. diff-in-diff-menetelmää ja verrataan kehitystä englantilaisissa yliopistoissa kehitykseen skotlantilaisissa yliopistoissa vuoden 2012 ympärillä. Oletus on siis, että ilman Englannin reformia opintoihin hakeutuminen olisi kehittynyt näissä maissa samalla tavalla tuon vuoden ympärillä.
Mitä havaitaan, taustojen osalta? Valkoisten ja enemmän koulutetuilta alueilta tulevien opiskelijoiden korkeakouluttautuminen väheni enemmän kuin muiden opiskelijoiden. Tämä antaa viitettä siitä, että korkeakoulumaksujen nostaminen ei vähentäisi sosiaalista liikkuvuutta.
Mutta mikä oli institutionaalinen ympäristö, ja mitä muuta tapahtui? Reformi herätti ymmärrettävästi paljon vastustusta, ja yhtä aikaa lukukausimaksujen noston kanssa yliopistot lisäsivät ns. access agreement-määrärahoja, jotka kohdennetaan eri tavoin sosioekonomisten esteiden tasoittamiseksi. Tutkimuksen vaikutus ei siis heijastele pelkästään lukukausimaksujen vaikutusta, vaan myös tämän määrärahanoston vaikutusta. Sá ei kommentoi tätä asiaa, mutta ehkä julkaistussa versiossa tämä huomioidaan.
Yhteenveto
Irlannin osalta verrataan vaihtoehtoa, jossa kukaan ei maksa lukukausimaksuja vaihtoehtoon, jossa kaikki paitsi matalista SES-taustoista tulevat maksavat lukukausimaksuja. Englannin osalta verrataan vaihtoehtoa, jossa on korkeammat lukukausimaksut ja korkeammat stipendimenot vaihtoehtoon, jossa on matalammat lukukausimaksut ja matalammat stipendimenot.
Miten nämä tutkimukset voivat valaista suomalaista keskustelua lukukausimaksuista?
Itse sanoisin, että näiden tutkimusten perusteella ei voida sanoa, että lukukausimaksut eivät hidasta sosiaalista liikkuvuutta. Pikemminkin voidaan sanoa, että lukukausimaksut eivät hidasta sosiaalista liikkuvuutta jos sosiaaliseen liikkuvuuteen kiinnitetään erityistä huomiota. Englannissa ja Irlannissa tämä erityinen huomio on stipendijärjestelmä, ja Etla on ehdottanut tähän ehkä Pohjoismaahan sopivampaa (ks. Ruotsi ja opintolainat) progressiivista takaisinmaksua. Tämä on varmasti asia, jonka suunnitteluun kiinnitetään huomiota, jos ja kun tarkempia lukukausimaksuesityksiä tehdään.
14 kommenttia:
Aion välittömästi siirtää keskustelun metatason metatasolle, eräänlaisena kunnioituksena arvioinnin arvioinnin arvioinnille. Kai on meille molemmille ilmiselvää, että jo ETLAn alkuperäisessä muistiossa todettiin, että sosiaaliseen liikkuvuuteen liittyvät huolet tulee ottaa vakavasti, ja näitä ilmiöitä pitäisi lieventää valtion tukemilla lisäyksillä lainajärjestelmiin. Kuten itsekin toteat.
Tietenkään Sisyfos ei koskaan saanut vieritettyä kiveä vuoren huipulle, tai bloggaaja keskustelua substanssitasolle, koska joku keskustelua ohjaava huomattavasti korkeampi taho oli asettanut pelin reunaehdot niin, että kivi vierähtää aina takaisin vuoren juurelle.
Tässä tapauksessa Zeus jumitti kiven pysyvästi metatasolle jo noin kolmenkymmenen sekunnin kuluttua ETLAn alkuperäisen asiaa käsitelleen tiedotteen julkaisusta, kun ensimmäinen yksilöä suuremman voiman symbolinen edustaja ehti naputtaa 140 merkkiin mielipiteensä asiasta.
Sen jälkeen on sitten nahistu kai lähinnä semantiikasta ja esimerkiksi siitä, kenellä milloinkin on todistustaakka mistäkin. Kaikkein suosituimmaksi keinoksi kivenvierittäjien kylässä tuntuukin lähiaikoina nousseen ajatus siitä, että jos jostakin asiasta (peruskoulu-uudistus? sosiaalisten oikeuksien kirjaaminen perustuslakiin? - en ole varma, koskeeko argumentti positiivisten oikeuksien parannuksia samassa määrin kuin niiden heikennyksiä) ei ole olemassa vedenpitävää mikroekonometrista evidenssiä, ei tätä asiaa ikään kuin saa tehdä.
Metatason parjaaminen on minusta outoa ja tuntuu juontavan juurensa osin kuvitelmasta, että on olemassa jokin relevantimpi taso, johon päätöksenteon tulisi perustua, ja että kivi voidaan - ja tulee! - vierittää tämän vuoren huipulle. Minusta, jos jostain olen samaa mieltä lähiaikoina maasta tapahtuvan aivovuodon kanssa, on se se asia, että metatasosta voitaisiin itseasiassa puhua vähän rehellisemmin ja avoimemmin.
What is to be done?
mvh,
jukka
Hei Allan!
Vieritän kiveä vähän menetelmämetatason suuntaan. Tässä lukukausimaksukysymyksessä on yhteiskunnallisesti käsittääkseni merkittävää, miten lähellä nollaa vaikutukset mahdollisuuksien tasa-arvoon ovat.
Yleisesti käytössä olevissa tilastollisissa testeissä (myös ainakin tässä katsomassani Dennyn paperissa) ei oikeastaan testata sitä, että efekti olisi taloudellisesti tai poliittisesti tai tieteellisesti merkityksetön. Denny paperissa ei käytetty siihen kysymykseen paremmin sopivaa ekvivalenssitestiä tai TOSTia (http://rpsychologist.com/d3/equivalence/). Siinä käytettiin yksinomaan (ja testien lukumäärän vaikutusta korjaamatta) nollahypoteesimerkitsevyystestiä (Null Hypothesis Significance Test, NHST), joka voi kyllä antaa tukea sille, että efekti eroaa nollasta, jos saadaan tulos p < merkitsevyystaso. Mutta jos p > merkitsevyystaso, eli tulos ei ole yllättävä jos nollahypoteesi pitäisi paikkansa, se jättää vielä auki sen kysymyksen miten lähellä nollaa olevat efektit sopivat yhteen datan kanssa.
Esimerkiksi: jos on kansan oikeustajun mukaista, että lukukausimaksujen poisto on hyväksyttävää, jos se poistaa vanhempien työttömyystaustan vaikutusta lastensa mahdollisuuksiin päästä parhaisiin yliopistoihin 30%, ja saadaan empiirisestä mallista myös sellainen piste-estimaatti (Taulukko 5, s. 32; prosenttitulkintani saattaa olla väärä mutta se ei ole tässä olennaista), mutta se ei ole tilastollisesti merkitsevä (p > .05), on nähdäkseni väärin tulkittu, että meillä olisi todistusaineistoa, joka olisi kansan oikeustajun mukaista. Koska tavallinen nollahypoteesimerkitsevyystesti ei tutki sitä, onko efekti pienempi kuin jokin määritetty taso. Todellisuudessa tuo oikea efekti voi olla juuri 30%, mutta meillä ei vain ole tilastollista voimaa havaita sen eroa nollasta (koska solukoko on n=38, Taulukko 1b, s.29).
Toisaalta voi olla niin, että meillä on tilastollisesti merkitsevästi nollasta eroavia efektejä (p < .05), mutta efektien koot ovat yhteiskunnallisesti merkityksettömiä. Ekvivalenssitestaus mahdollistaisi senkin selvittämisen, ovatko efektit yhteiskunnallisesti merkittäväksi arvioituja pienempiä, vaikka tilastollisesti merkitsevästi eroaisivatkin nollasta.
Tutkijoiden p-arvojen tulkinnoissa on muitakin yleisiä ongelmia, mutta tämä on relevantti juuri tässä kysymyksessä.
Esa
Molemmat 5/5 kommentteja, erityiskiitos kivenvieritys-kielikuvan jatkamisesta. Näemmä tulee merkkiraja vastaan, jotenka Esan kommentti erilleen.
Jukka:
Metatasoja on monia, ja jo kirjoitusta laatiessani ajattelin, että ehkä niitä pitäisi kutsua vain eri tasoiksi tai eri kysymyksiksi. Yhtenä esimerkkinä seminaarin ja sen jälkeiset tapahtumat nostivat jälleen keskusteluun epämääräisen kysymyksen taloustieteen ja sen tutkijoiden poliittisuudesta. Toisena esimerkkinä, mikäli oikein kommenttiasi tulkitsen, voidaan puhua tutkimusevidenssin käytöstä päätöksenteossa.
Nämä tasot, kuten monet muutkin vastaavat, ovat tärkeitä. Paljon tärkeämpiä kuin vaikkapa se, miten pahasti yksi työpaperi Englannin vuoden 2010 lukukausimaksureformista kärsii puuttuvan muuttujan harhasta.
En siis halua parjata metatasoja, vaan sitä tapaa, jolla keskustelu aiheesta kuin aiheesta toistuvasti siirtyy metatasolle tavalla, joka ei lisää ymmärrystä alkuperäisistä aiheista tai metatasoista.
Joskus siirtymät ovat hyviä. Esimerkiksi Esan kommentista opin taas uutta tilastollisesta päättelystä. Tulee mieleen analogia: Esa luultavasti näkee tutkimusta koskevassa keskustelussa aiheesta toiseen vaillinaista tilastollista päättelyä ja hän haluaa aina nostaa esiin näitä ongelmia. Yhteiskuntakriitikko näkee taloustutkimusta koskevassa keskustelussa aiheesta toiseen vaillinaista oman toiminnan poliittisuuden esiintuomista ja hän haluaa aina nostaa esiin näitä ongelmia. Miksi edellinen lähinnä miellyttää itseäni, ja jälkimmäinen lähinnä ärsyttää? Syitä on varmasti monia, mutta yksi on se, että edellisessä virheellinen toiminta ja sen korjaaminen esitetään konkreettisemmin.
Ajatellaan, että keskustelulla voidaan hakea vastauksia kysymyksiin tai muuttaa asioita. Edellisestä esimerkkinä se, että voimme keskustella siitä, millainen lukukausimaksumalli minimoisi riskin sosiaalisen liikkuvuuden vähenemisestä. Jälkimmäisestä esimerkkinä se, että voimme keskustella transfobisista puhetavoista ja sitä kautta vähentää noita puhetapoja ja niiden haitallisia vaikutuksia.
Olkoon keskustelun tarkoitus kumpi tahansa, niin se vaatii konkretiaa: selkeästi määritellyn kysymyksen tai selkeästi osoitetut puhetavat. Siirryttäessä keskustelemaan asia-aiheesta muihin aiheisiin harvemmin pysähdytään sitä, mistä tarkkaan ottaen halutaan keskustella ja miksi.
Mutta siis: jos sinulla on mielessäsi jokin tietty metatason kysymys, josta haluaisit keskustelua, niin mielelläni siitä kirjoitan.
Sivuhuomiona, kun mainitsit kysymyksen todistustaakasta. Aloitin tällä viikolla myös tekstin tästä aiheesta, koska todistustaakan vierittämistä vastapuolelle käytetään minusta (tai minua) häiritsevän paljon yhteiskunnallisessa keskustelussa. Minun pitänee pyöritellä asiaa vielä, ennen kuin tulee valmista. Ja vaikka Esankin kommentti on menetelmätekninen, niin onhan siinäkin kyse todistustaakasta.
Ja vielä lopuksi satunnainen ajatus mikroekonometrisesta evidenssistä. Uskottavinta mikroekonometrista evidenssiä tulee reformeista, ja se on parhaiten yleistettävissä, jos se on kotimaassa. Ajatellaan, että poliitikot käyttävät peukalosääntönä sitä, että jos ei ole evidenssiä, niin ei muuteta. Tästä seuraa se, että tässä maailmassa politiikat jakautuvat sillä tavalla, että on:
1) politiikkoja, joita ei ole koskaan reformoitu, eikä niitä siten voida reformoida nytkään
2) politiikkoja, joita on aiemmin reformoitu, ja joita voidaan jatkuvasti hienosäätää
No, kaipa uskottavaa evidenssiä tulee ilman reformejakin, jos on vaikka jokin mukava regressioepäjatkuvuusasetelma.
Esa:
Kiitos erinomaisesta kommentista, ja onpa muuten hauska hahmotustyökalu linkissä.
Se, mitä sanot, on tietenkin aivan totta ja tärkeää ja ekvivalenssimarginaali vaikuttaa hyödylliseltä käsitteeltä. Tutkijalle on ehkä vaikeaa kussakin kysymyksessä asettaa marginaalin raja-arvot, ellei sitten kansan oikeustaju ole konkretisoitunut vaikkapa parlamentin tai jonkin työryhmän lausuttua ääneen tuollaisen 30 % säännön. Mutta olisi se varmaankin parannus, sillä onhan tuossa nollahypoteesimerkitsevyystestauksessakin yhteiskunnallinen olettama sisäänleivottuna tavalla, joka on aika erikoinen.
Eikö tässä voisi ihan vain luottamusvälillä havainnollistaa näitä riskejä? Eli: ”Ei havaita tilastollisesti merkitsevää vaikutusta sosiaaliseen liikkuvuuteen, mutta toisaalta data on yhdenmukainen senkin kanssa, että sosiaalinen liikkuvuus heikkeni jopa X prosenttia. Parempia tutkimusasetelmia ja suurempia datoja tarvitaan varmemman tiedon saamiseksi.”
Hyvä kun jaksat valistaa, joka tapauksessa.
Allan:
Kiitos kivasta vastauksesta, ja mukava kuulla, jos opit uutta kommentistani! Rakentelen vieläkin näitä tieteen perusteita uudelleen itselleni ja luen myös mielelläni ajatusteni haastamisia.
Olet oikeassa, että luottamusväliä olisi hyvä käyttää riskien havainnollistamisessa. Vaikka ne väistämättä tulkittaisiinkin väärin (*), olisivat luottamusvälit huomattava parannus (sekä tieteellisessä että yhteiskunnallisessa mielessä) verrattuna perinteiseen NHST:hen ja yhteen p-arvoon erityisesti tällaisissa kysymyksissä eli kun etsitään todistusaineistoa vaikutuksen puuttumisesta. Yksi yleinen ekvivalenssitestauksen muoto (TOST, two one-sided t-tests) on käytännössä yhtenevä tavallisten luottamusvälien kanssa (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3019319/).
(*) [Esimerkiksi vaikka tietäisikin, että frekventistinen 95% luottamusväli ei tarkoita 95% todennäköisyyttä että oikea parametri kuuluu luottamusväliin (mihin tarvitaan Bayesia), vaan että 95% luottamusväleistä sisältää pitkällä aikavälillä oikean parametrin, ei ole vielä perillä. Voi edelleen mennä vikaan tulkinnoissa: tämän linkin takaa lisää mieltä avartavia havainnollistuksia Kristoffer Magnussonilta ja Daniel Lakensilta: http://daniellakens.blogspot.fi/2016/03/the-difference-between-confidence.html]
Minua kovasti harmittaa, etten päässyt kyseiseen seminaariin. Olin kyllä merkannut sen kalenteriini, mutta olin lopulta estynyt työasioista johtuen. Luin kyllä tarkalla silmällä HS:n kirjoituksen (ja jälkipyykin aiheesta, ml. esimerkiksi asiattoman blogin missä mielestäni erästä metatasoa käsiteltiin, ironista kyllä, asiallisella tavalla).
Pointtini oli oikeastaan nimenomaan tämä siirtymä metatasolle. Se tapahtuu herkästi, kun "tieteellinen konsensus" ei niinsanotusti "miellytä".
Tiede on ikäänkuin poliittinen arvo itsessään (ei siis menetelmänä tai tapana toimia; enemmänkin esteettisellä tasolla), ja kaikki poliittiset puolueet haluavat vaikuttaa "tieteeseen" luottavina, paitsi tietenkin silloin, kun tieteen konsensus on omien arvojen vastainen. Tieteen tulokset itsessään varmaankin kiinnostavat perussuomalaisia aivan yhtä paljon kuin vasemmistoa, riippuen siitä miten ne tukevat tai eivät tue omia arvoja. Mutta asialla on kiva jeesustella, koska kukapa nyt vastustaisi tiedettä, ihmisoikeuksia, oikeudenmukaisuutta, tai tasa-arvoa - kunhan mitään näistä ei tarvitse määritellä liian täsmällisesti.
Substanssikeskustelu (Esan kommeentti) on erittäin hyvää ja tärkeää tiedettä kehittävää (ja lähtökohtaisesti arvostan laadukasta tiedettä siinä, missä se kuvaa sitä miten asiat toimivat, mielekkäällä tavalla) keskustelua, mutta poliittiseen arvokeskusteluun sitä ei kannata liikaa sotkea. Voi olla, että tieteellisen ymmärryksen kehittyminen sitten hitaasti muuttaa politiikkaa, tai voi olla, ettei muuta.
Taloustieteessä on sinänsä mahdollista käydä ihan tieteellistäkin keskustelua - kuten Esa ja sinä tuossa käytte - mutta esimerkiksi kysymys siitä, kuka saa ilmaista itseään ja millä tavalla, ja kenen ilmaisu koetaan vääräksi, on keskustelu joka viime kädessä on poliittista. Esimerkiksi transseksuaalit eivät itsekään ole monoliittinen yhteisö, jolle joku tietty tapa ilmaista on kategorisesti haitallista - siinä missä koko sanassa on mitään järkeä.
--
Hyvä, että kirjoitat todistustaakasta. Aihe kiinnostaa minua. Minusta eräs taannoinen haastattelu nimenomaan vahvasti reflektoi haastateltavan poliittista näkemystä: silloin, kun kyse on omien arvojen näkökulmasta tärkeästä instituutiosta, sen muuttajilta edellytetään erittäin korkean tason todistustaakkaa. Uskoisin, että mikäli oltaisiin luomassa uutta, haastateltavan omien arvojen mukaista instituutiota niin todistustaakka ei yhtäkkiä olekaan enää yhteiskunnan muuttajalla, vaan muutoksen vastustajalla.
(Onnea vaan muuten, jos joku yrittää kvantifioida sitä transfobisen puhetavan vähentämisen vaikutusta hyvinvointiin. Selvästi todistustaakka on tässä kohtaa sillä, joka toivoo puhetavan vähentämistä).
Siinä, missä yksistä asioista edellyttää korkeampaa evidenssiä kuin toisista, tulee de facto asettaneeksi asiat arvojärjestykseen: pakeneminen "nykytilan" tai "asian suuruuden" taakse olisi lähinnä ala-arvoista; nykytila ei ole "luonnontila" ja asian "koko" ei tee siitä yhtään sen vähempää arvokysymystä.
Se, että jatkuva todistustaakan vaatiminen reformeista "tai niitä ei saa toteuttaa" johtaa tietenkin siihen pateettiseen tilaan, jossa mitään, mitä ei voi kokeellisesti (tai kvasikokeellisesti) testata, ei voi toteuttaa, on tietenkin harmittava asia, mutta mitäpä ne naiset sillä äänioikeudella.
Olen taipuvainen ajattelemaan, että epäkonsistentti todistustaakan vatkaaminen ei voi olla tutkimuksellinen näkökulma (joten tässä kohtaa olen eri mieltä Sandra Hardingin fanien kanssa, ja todennäköisesti päädyn siihen tulokseen, että islamo- ja transfobian lisäksi myös valkoinenmies- ja juliebindelfobia on kiellettävä lailla). Mutta jään odottamaan sitä tekstiä mielenkiinnolla.
mvh,
jukka
Ps.
Siitä ärsyyntymisestä. Minullakin nousee pulssi, kun esimerkiksi tiettyjä viranomaisia kutsutaan voimakkaan politisoituneiksi; ärsyyntymiseni ei tosin johdu väitteestä itsestään - siitä on varmasti hyvä keskustella - vaan siitä, että väitteen esittäjät pyrkivät usein esittämään tämän väitteen ikään kuin tutkijoina tai tieteen tekijöinä, eivätkä sinä poliittisena toimijana jona tosiasiassa tämän väitteen esittävät.
Toivoisin itse tältä osin vain konsistenssia - jos haluaa keskustella tai kritisoida toisia piilopoliittisuudesta, on hyvä tuoda esille myös oma poliittinen positio, jos haluaa vaikuttaa suoraselkäiseltä.
Uskon, että moni on tästä kanssani samaa mieltä - esimerkiksi ym. asiattomassa kirjoituksessa käyty "miksi tämä spesifisti koskee taloustietelijöitä" -sivuhuomio taitaa mennä tähän laariin.
mvh,
jukka
Esa: Kiitos taas linkistä. Joskus sitä miettii, että oppiko sitä vaikkapa p-arvojen tai luottamusvälien väärät tulkinnat aikoinaan tilastotieteen peruskurssilla vai keksikö ne vain itse.
Jukka: Hyvä huomio/ilmaus, että tiede on on esteettinen arvo politiikassa. Kukaan ei halua ehdotuksineen näyttäytyä tieteen vastaisena, korkeintaan valtavirtatieteen vastaisena.
Hyviä huomioita muutenkin tieteestä, poliittisuudesta. En nyt mene niihin sen tarkemmin, ehkä tulevaisuudessa tulee jokin hyvä tapaus, josta kirjoitan ja jonka konkretiasta on hyvä nousta periaatetasolle.
Ja todistustaakkaa varten lueskelen vähän bayesiläisiä juttuja, josko niistä saisi vähän hahmotusapua (esim. https://wiki.lesswrong.com/wiki/Evidence).
”Joskus sitä miettii, että oppiko sitä vaikkapa p-arvojen tai luottamusvälien väärät tulkinnat aikoinaan tilastotieteen peruskurssilla vai keksikö ne vain itse.”
Suomen yliopistoissa on ainakin yhteiskunta-, käyttäytymis- ja aivotutkijoilla ollut käytössä tilastotieteen oppikirjoja, joissa opetetaan väärät p-arvotulkinnat (mm. Nummenmaa, Metsämuuronen). MIT:n (ja sitä seuraavan Otaniemen) todennäköisyys- ja tilastotieteen peruskurssilla käsitellään nykyään bayesiläinen päättely ennen kuin mennään frekventistisiin testeihin ja p-arvoihin. Julkilausuttunakin syynä on se, että olisi hieman hankalampi tehdä p-arvoista vääriä tulkintoja. En tiedä auttaako se. Esimerkiksi vaikka tilastotieteen kandin, superstaran ja moninkertaisen kunniatohtorin Nate Silverin fivethirtyeight-sivustolla on tällainen juttu: http://fivethirtyeight.com/features/not-even-scientists-can-easily-explain-p-values/ menee hänelläkin tulkinnat sekaisin: https://errorstatistics.com/2016/02/12/rubbing-off-uncertainty-confidence-and-nate-silver/. Lukupiirikaverini on myös saanut todennäköisyyslaskentaa aika hyvin taitavan Nassim Talebin kiinni väärästä p-arvotulkinnasta ja saanut tämän Twitterissä myös myöntämään asian. Jos on keksinyt väärän tulkinnan itse, ei välttämättä ole huonossa seurassa.
Tuo linkittämäsi likelihood ratio on kiinnostava, unohdetulta vaikuttava päättelyn apu. Sen käyttöä oli ilo harjoitella tällaisella verkkokurssilla: https://www.coursera.org/learn/statistical-inferences
Sieltä tällaisia lukuvinkkejä:
Lecture 2.1
The go-to book about likelihoods is by Royall (but regrettably, it is quite expensive).
Royall, R. (1997). Statistical Evidence: A Likelihood Paradigm. London?; New York: Chapman and Hall/CRC.
He provides a summary here:
Royall, R. (2004). The likelihood paradigm for statistical evidence. The nature of scientific evidence. Statistical, philosophical, and empirical considerations. University of Chicago Press, Chicago, Illinois, 119-152.
A nice tutorial introduction is given by Blume:
Blume, J. D. (2002). Likelihood methods for measuring statistical evidence. Statistics in Medicine, 21(17), 2563-2599.
And an applied book-length treatment can be found in:
Pawitan, Y. (2001). In all likelihood: statistical modelling and inference using likelihood. Oxford?: New York: Clarendon Press?; Oxford University Press.
Bayesilainen päättely on ihan tolkullista touhua ja aiheellisesti muodostaa yhden "koneoppimisen" keskeisistä ratkaisumalleista. Kivenvierittäjien kylässä kuitenkin kohautetaan olkapäitä ja naureskellaan asialle. Miksi? No koska *juuri* tämän reformin perusteleminen tilastollisella päättelyllä edellyttää korkeampaa todistustaakkaa. Koulutuksen tasa-arvo on niin tärkeä juttu, että 99% arbitraarinen* luottamus ei riitä. Täytyy olla 99.995% luottamus. Kivi on taas vieritetty takaisin vuoren juurelle, ja on aika kaivaa viivotin ja alkaa etsiä lisää sitä evidenssiä. Seuraavassa HS-haastattelussa samainen kivenvierittäjä saattaa tietenkin todeta, että edes ajatus siitä, että sosiaalisten oikeuksien kirjaaminen perustuslakiin tai naisten äänioikeus edellyttäisivät mitään evidenssiä on hullu. Ihmisoikeuksia ei tarvitse näin perustella!**
Päädyt siis ennen pitkää ongelmiin.
Voit ehdottaa yhtä todistustaakan määrää (bayesilaisittain ajateltuna siis, uskomusta, tai luottamusta, tai miten tämä nyt kuuluu suomentaa) "riittäväksi" määräksi yleisesti jonkin asian osoittamiseksi. Tämä olisi tietenkin ihan validi tapa lähestyä asiaa, jos sitä konsistentisti sovellettaisiin. Oletetaan vielä, että sen konsistentti soveltaminen ei halvaannuttaisi koneistoa yleisen evidenssin puuttumisen johdosta (pohdi vaikka toisen alaviitteen söpöjen asioiden vaikutusta yhtään mihinkään).
Se, mitä asianomainen kivenvierittäjä sanoo, ei ole että "kaikki reformit edellyttävät korkeaa todistustaakkaa", vaan spesifi aihe edellyttää: oletan että syy tähän on joku muotoa "asia on yhteiskunnallisesti merkittävä" (tämä on sitten väistämättä lausuma, johon sisältyy poliittisia arvoja, sillä se edellyttää asian vaikutuksen arvottamista). Päädymme siis hyvin nopeasti tilanteeseen, jossa erilaiset reformit edellyttävät erilaisia määriä todistustaakkaa, jolloin tästä todistustaakan edellytyksen heterogeenisyydestä muodostuu se poliittinen arvokartta, jota yrität bayesilaisella päättelyllä välttää.
Tämä ihan ennakkovaroituksena siitä, mistä aion asiaa kritisoida, nyt kun otit esille tilastollisen päättelyn.
mvh,
jukka
* (http://lesswrong.com/lw/jn/how_much_evidence_does_it_take/ : "So if you want to license a strong belief that you will win the lottery—arbitrarily defined as less than a 1% probability of being wrong—34 bits of evidence about the winning combination should do the trick.")
** Ihmisoikeudet ovat niitä asioita, joissa joltakulta otetaan ja toiselle, söpömmälle taholle annetaan. Söpömmältä taholta ottaminen tai toiselta söpömmälle taholle antamisen (vähemmän söpöltä taholta) katkaiseminen (sosiaaliturvan leikkaaminen on vähemmän söpöltä taholta antamisen katkaisemista söpömmälle taholle) ovat ihmisoikeuksien rikkomista.
Esimerkiksi maksuton yliopisto ei tietenkään ole ilmaista, mutta se on vähemmän söpöiltä tahoilta ottamista ja söpöille tahoille antamista, joten sen olemassaolo on ikään kuin luonnontila, jota ei tarvitse perustella samalla tapaa, kuin sen poistaminen täytyy.
"Bayesilainen päättely on ihan tolkullista touhua ja aiheellisesti muodostaa yhden "koneoppimisen" keskeisistä ratkaisumalleista. Kivenvierittäjien kylässä kuitenkin kohautetaan olkapäitä ja naureskellaan asialle. Miksi? No koska *juuri* tämän reformin perusteleminen tilastollisella päättelyllä edellyttää korkeampaa todistustaakkaa. Koulutuksen tasa-arvo on niin tärkeä juttu, että 99% arbitraarinen* luottamus ei riitä. Täytyy olla 99.995% luottamus.”
Veikkaan että naureskelu oli osoitettu minulle ja yritän selvittää sanomaani. Kyse ei ole nyt vain tästä erityisestä päivänpoliittisesta kysymyksestä vaan yleisemmin tässäkin poliittisessa/tieteellisessä keskustelussa esitetyistä väitteistä, että jos p-arvo ei ole merkitsevä (eli data ei ole yllättävä jos oletetaan että efektiä ei ole), meillä olisi empiiristä todistusaineistoa, joka tukisi ajatusta että efektiä ei ole. Jos halutaan esittää sellaisia väitteitä kuin tässä on esitetty eli jotta meillä olisi todistusaineistoa sille, että efektiä ei ole, meidän pitäisi rakentaa testi ja hankkia dataa, joka olisi yllättävää, jos tieteellisesti tai yhteiskunnallisesti merkittävää keskimääräistä efektiä olisi. P-arvoja voitaisiin käyttää, mutta testiasetelma pitäisi rakentaa aavistuksen toisella tavalla. Tämä koskee samalla tavalla vaikkapa syöpälääketutkimusta siinä kuin muitakin tilastomenetelmiä ja merkitseviä p-arvoja (valitettavasti myös julkaisu- ja) vaikuttavuuskriteereinä käyttävät aloja (http://www.nature.com/news/cancer-reproducibility-project-releases-first-results-1.21304).
” Kivi on taas vieritetty takaisin vuoren juurelle, ja on aika kaivaa viivotin ja alkaa etsiä lisää sitä evidenssiä. Seuraavassa HS-haastattelussa samainen kivenvierittäjä saattaa tietenkin todeta, että edes ajatus siitä, että sosiaalisten oikeuksien kirjaaminen perustuslakiin tai naisten äänioikeus edellyttäisivät mitään evidenssiä on hullu. Ihmisoikeuksia ei tarvitse näin perustella!**"
Olen tässä lueskellut teosta matematiikan historiasta, missä esitetään, että deduktiivisen päättelyyn matematiikkaan tuoneet antiikin kreikkalaiset ja erityisesti Platonin Akatemian tyypit keskittyivät juuri deduktiiviseen päättelyyn induktiivisen sijaan, koska he halusivat täyttä varmuutta ja todellista tietoa eivätkä epävarmoja *todennäköisyyksiä*. Heillä oli myös toiveita käyttää samanlaista päättelyä etiikassa/politiikassa. Samaa rationalistista perinnettä on modernin maailman pohjalla olevien ihmisoikeuksien ja valistuksen taustalla Kantilla ja esimerkiksi Spinozalla, jonka Etiikka on esitetty geometristen todistusten tapaan. Sama ajatus on nähdäkseni myös utilitarismin ja taloustieteen taustalla. Johdetaan kaikki rationaalisesti aksioomista ja määrittelyistä, täydellä varmuudella.
Sattumoisin muuten Platonin Akatemia ei perinyt jäseniltään maksuja kuten ei Sokrateskaan keskustelukumppaneiltaan. Samaan aikaan kyllä maksuja perivät sofistit, jotka opettivat ihmisiä puhumaan millä tahansa tavalla, kunhan se vain toisi asiakas-oppilailleen valtaa ja vaurautta.
Mielenkiintoisesti juuri tuo pitkälti Bayesiin perustuva koneoppiminen tekee kyseisen teknologian yhteiskunnallisia vaikutuksia tutkineen Erik Brynjolfssonin mukaan ennen pitkää mahdolliseksi valita poliittisesti sellainen yhteiskunta, mikä muistuttaisi antiikin Ateenaa, mutta missä orjien mekaanisen työn (Artes Mechanicae; https://en.wikipedia.org/wiki/Artes_Mechanicae) tekisivät koneet, ja käytännössä kaikki kansalaiset voisivat harjoittaa vapaiden ihmisten taitoja (Artes Liberales; https://en.wikipedia.org/wiki/Liberal_arts_education), jotka ovat olleet länsimaisen sivistyksen ydin pari tuhatta vuotta. Muitakin tulevaisuuden vaihtoehtoja voidaan samalla teknologialla toteuttaa. Kyse on arvoista.
"Voit ehdottaa yhtä todistustaakan määrää (bayesilaisittain ajateltuna siis, uskomusta, tai luottamusta, tai miten tämä nyt kuuluu suomentaa) "riittäväksi" määräksi yleisesti jonkin asian osoittamiseksi. Tämä olisi tietenkin ihan validi tapa lähestyä asiaa, jos sitä konsistentisti sovellettaisiin. Oletetaan vielä, että sen konsistentti soveltaminen ei halvaannuttaisi koneistoa yleisen evidenssin puuttumisen johdosta (pohdi vaikka toisen alaviitteen söpöjen asioiden vaikutusta yhtään mihinkään).”
Olen samaa mieltä, että on monesti paras sitoa kätensä näissä asioissa etukäteen. On myös tärkeää tietää mitä tekee.
"Se, mitä asianomainen kivenvierittäjä sanoo, ei ole että "kaikki reformit edellyttävät korkeaa todistustaakkaa", vaan spesifi aihe edellyttää: oletan että syy tähän on joku muotoa "asia on yhteiskunnallisesti merkittävä" (tämä on sitten väistämättä lausuma, johon sisältyy poliittisia arvoja, sillä se edellyttää asian vaikutuksen arvottamista). Päädymme siis hyvin nopeasti tilanteeseen, jossa erilaiset reformit edellyttävät erilaisia määriä todistustaakkaa, jolloin tästä todistustaakan edellytyksen heterogeenisyydestä muodostuu se poliittinen arvokartta, jota yrität bayesilaisella päättelyllä välttää.”
En tainnut ymmärtää kaikkea, mitä sanoit, mutta veikkaan että sinäkään et ymmärtänyt kaikkea mitä minä sanoin. En vaatinut tavallista enempää todistustaakkaa poliittisilta reformeilta. Vaadin vain yleisesti jotain todistustaakkaa väitteille, että efektiä ei ole. Väitteet tässä esitettiin virheellisesti toisia asioita testaavien frekventististen testien pohjalta ja esitin tilalle frekventisistisiä testejä, joilla voitaisiin testata sitä, mistä esitettiin väitteitä. Ei Bayesia.
Veikkaanpa kuitenkin että monet tutkijat ja kansalaiset tekevät myös virheellisiä (tai tilanteesta riippuen satunnaisesti oikeita) bayesiläisiä tulkintoja noista frekventistisistä testeistä. Yleensä halutaan tietää pitääkö tutkittava hypoteesi paikkansa ja millä todennäköisyydellä, kun saadaan jotain dataa. Eli halutaan tietää p(hypoteesi | data). P-arvo kertoo kuitenkin vain datan todennäköisyyden ehdolla hypoteesi: p(data | hypoteesi).
Esa,
Naureskelu oli Allanille - keskeinen pointtini on siinä, että pelkällä bayesilaisuudella ei pääse kovin pitkälle. Tämän ovat ilmeisesti lähes kaikki muut paitsi Brynjolffson (en tiedä, miksi) jo tavallaan ymmärtäneet*. Ilman "tavoitetta" (kutsun itse tavoitefunktioksi) todennäköisyyksillä ei tee juuri mitään - ja tavoitefunktion kasaaminen (mten tuotamme optimaalisen hyvinvoinnin yhteiskuntaan) edellyttää herkästi poliittisia valintoja (miten paljon "tehokkuutta" olemme valmiita uhraamaan esimerkiksi sosiaalisen liikkuvuuden edistämiseksi tasa-arvon nimissä). Funktio - tai koneoppimisalgoritmi - joka koostuu pelkästä bayesilaisesta ei vastaa mihinkään näistä kysymyksistä. Esimerkiksi evoluutio vastaa. Samoin vasemmistoliitto ja kokoomus.
Todistustaakan edellyttämisellä viittasin siis Markus Jäntin haastatteluun Helsingin Sanomissa (http://www.hs.fi/talous/art-2000005215252.html) - ”Todistustaakka on mielestäni niillä, jotka ehdottavat tätä uudistusta. Ei niillä, jotka sitä vastustavat” - ja alkuperäinen argumenttini oli, etten usko Jäntin edellyttävän tätä vastaavaa todistustaakkaa esimerkiksi sosiaaliturvan korotusten kannattajilta, tai muilta banaaleilta esimerkeiltä joita satuin keksimään. Näin siis väitin, että todistustaakan pallottelu edes takaisin ilman yllä toivomaani formaalia määritelmää (jota kutsut käsien etukäteen sitomiseksi) ei mielestäni voi olla tutkijan puheenvuoro, koska käsitykseni tutkimuksellisen ja poliittisen tiedon erosta eroaa esimerkiksi Sandra Hardingin käsityksestä (ks. vahva objektiivisuus).
Tällä on siis läheisesti tekemistä alkuperäisen aiheen kanssa, eli lukukausimaksuista käydyn keskustelun.
Bayesilainen päättely voi antaa työkalun käsien sitomiselle, mutta esimerkiksi koneoppimisen perustuessa datan määrään voi esimerkiksi yhden tiukan kynnysarvon (sanotaan 1%) arbitraarinen valitseminen jumittaa algoritmin lokaaliin maksimiin - esimerkiksi tiettyä asiaa (vrt. naisten äänioikeus) ei koskaan toteuteta, koska siitä ei a priori voi olla riittävää todistusaineistoa kynnysarvon ylittämiseksi. Tästä syystä, kun niitä koneoppimisen algoritmeja kehitetään, eivät Bayesilaiset tai edes MLN -tyyppiset ratkaisut yksin oikein toimi: esimerkiksi yhdistelemällä tähän esimerkkiin evoluutioalgoritmejä voidaan saavuttaa "loikkia", joita ei muuten tulisi tehtyä, mutta tällöin ollaan rikottu alkuperäinen sääntö (johon tässä haluttiin sitoutua).
Siispä, bayesilainen päättely luottamuksesta ei voi ratkaista professori Jäntin esittämää haastetta, koska professori Jäntin esittämä haaste on (minusta; on tietenkin mahdollista että sitaatti on vaan todella huono) tosiasiassa verhoiltu esitys tavoitefunktion sisällöstä, ei empiirisestä evidenssistä - koska selvästi toisenlaisessa tapauksessa (varhaiskasvatus) on saavutettu jokin kriittinen määrä todistusaineistoa, joka siinä tapauksessa riittää kertomaan, että kyse on tieteellisestä konsensuksesta (tämä ei ole vastaväite).
mvh,
jukka
* Bayesilainen tilastolaskenta on yksi koneoppimisen haaroista. Esimerkiksi Pedro Domingosia mukaillen muut päähaarat voisivat olla, bayesilaisten (probabilistinen inferenssi) lisäksi evoluutioalgoritmit (jotka siis mukailevat genetiikkaa), aivojen toimintaa mukailevat algoritmit (nks. gradient descent, tuttu neural networkeista, joista deep netit ovat nykyään hyvin suosittuja), symboliseen päättelyyn perustuvat algoritmit (logiikka, ks. "asiantuntijajärjestelmät", joita suurin osa ekonomistien mikro- ja makromalleista on), sekä analogiaan perustuvat algoritmit (esimerkiksi matching). En tiedä, mitä Brynjolfsson on sanonut, mutta ajatus siitä, että Bayesilainen päättely olisi jotenkin erityisen keskeistä esimerkiksi neural net -algoritmeihin verrattuna, on monen alan "asiantuntijan" mielestä ehkä hassunkurinen.
Vielä: Sokrateesta (ja Kierkegaardista): ironista on mielestäni, että "täydellä varmuudella" esittäminen on bayesilaisen ajattelun mukaan mahdotonta, ja Sokrateen pääasiallinen argumentaation väline oli itseasiassa ironia - pointtihan oli esittää tyhmempää kuin oli, kaivaakseen esille vastapuolen väitteiden taustalla olevan tosiasiallisen taustaoletuksen - tai siis, ajatteluvirheen.
Kuten viimeaikoina esimerkkinä on käytetty, oikealle kallelleen olevat ekonomistit painottavat kuulemma hieman enemmän työllisyyttä ja vasemmalle kallelleen olevat tulonjaollista oikeudenmukaisuutta. Tämä ei voi olla yhteensopivaa täyden varmuuden kanssa? Jos yhteiskunnan hyöty olisi yksiselitteisesti mahdollista optimoida, niin taloustieteilijöiden tulisi kai ennen pitkää konvergoitua, annettuna samat aksioomat ja määrittelyt, ja sama hyötyfunktioiden jakauma, täsmälleen samaan painotukseen.
Sokrates olisi, uskon melko korkealla todennäköisyydellä, kysynyt ekonomistilta samaa.
mvh,
jukka
(Deduktiiviset mallit eivät myöskään ole riittäviä koneoppimisen kannalta, kuten Gödel jo tavallaan osoitti).
Lähetä kommentti
Kommentti