Vertaisarvioijan tehtävä koetaan yleensä joko suureksi riesaksi tai kunniatehtäväksi, riippuen tutkijan uravaiheesta ja muun työn määrästä sekä siitä, miten läheiset kollegat suhtautuvat siihen. Kun minulta väitöskirjatutkijana on kysytty arviota, olen tietenkin suostunut. Miten hienoa, että joku luottaa asiantuntemukseeni niin paljon, että haluaa kuulla mielipiteeni jonkun toisen tutkimuksesta! Itse pidän sitä kunniatehtävänä, ainakin vielä. Mutta ymmärrän myös toisen näkökulman.
Vertaisarvioinnin periaatehan on mainio: tutkijat arvioivat muiden tutkijoiden työtä. Näin pyritään varmistamaan, että tiede on luotettavaa ja uskottavaa, ja että julkaisuun pääsee vain, jos teksti on laadukasta, tieteenalan periaatteita noudattavaa sekä hyödyllistä tieteelle tai jollekin muulle taholle. Tutkijoiden työhön kuuluu, että he kriittisesti arvioivat muiden työtä.
Vertaisarviointiprosessi on kuitenkin jossain vaiheessa saanut varjopuolia, eivätkä kaikki tutkijat koe arvioijaksi ryhtymistä enää itselleen hyödyllisenä. Tai ainakaan niin hyödyllisenä, että siihen haluttaisiin uhrata tärkeitä tunteja työviikosta. Miksi näin on?
Osa vertaisarvioinneista teetetään kaupallisilla periaatteilla toimiville kustantamoille, jotka eivät välttämättä maksa vertaisarvioinnista palkkiota. Näin tutkija, joka työskentelee yleensä julkisilla varoilla, tarjoaisi asiantuntijuuttaan ilmaiseksi. Ja vielä arvioisi artikkeleita julkaisuun, joka ei maksa edes artikkelin kirjoittajille palkkiota. Tämä kaikki, koska se ”kuuluu työhön”. (Voit lukea lisää tieteellisestä julkaisemisesta täältä.)
Tämän vuoksi osa tutkijoista ei halua suostua vertaisarvioijaksi, varsinkaan kaupallisesti toimiviin julkaisuihin.
Uskallan kuitenkin väittää, että edelleen suuri osa tutkijoista pitää vertaisarviointia oleellisena osana tutkijan työtä ja kiireisetkin tutkijat yrittävät löytää siihen aikaa. Kuka muukaan osaisi arvioida tutkimusten laatua paremmin kuin tutkijat itse?
Miten vertaisarvioijaksi pääsee?
Siitä huolimatta, että vertaisarviointi vie aikaa muulta työtä, eikä varsinaisesti vie tutkijan omaa työtä eteenpäin tai tarjoa hänelle mitään etuja, varsinkin nuoret tutkijat yleensä innokkaasti odottavat sitä ensimmäistä kutsua vertaisarvioijaksi. Tarkoittaisihan se silloin sitä, että joku tietää työstäni ja että joku luottaa minun asiantuntijuuteeni. Mutta milloin se kutsu sitten kilahtaa sähköpostiin?
Oman kokemukseni mukaan vertaisarvioijat etsitään pääasiassa verkoston kautta. Eli julkaisun toimittajan pitää ainakin jossain määrin tuntea tai tietää henkilö, jota hän pyytää vertaisarvioimaan artikkeleita. Laajasta verkostosta on siis hyötyä.
Kun toimittaja saa pöydälleen artikkelin, joka liittyy esimerkiksi median koronasta käyttämään kieleen, jossa metodina käytetään korpusavusteista diskurssintutkimusta, hän miettii, ketä tämän tutkimusaiheen/-metodin tai teorian asiantuntijoita hän tuntee. Helpoimmalla hän pääsee, jos hänelle tulee heti mieleen joku nimi, ketä hän voisi pyytää, eikä hänen tarvitse metsästää asiantuntijaa sen enempää.
Jos taas toimittajalle ei tule ketään mieleen, hän luultavasti etsii tietyillä hakusanoilla tutkijoita, joilla olisi tähän artikkeliin sopiva tutkijan profiili. Jotta sinunkin nimesi mahdollisesti löytyisi näistä listoista, on tärkeää, että olet näkyvillä. Onko esimerkiksi nimesi ja tutkimusaiheesi näkyvillä yliopiston sivuilla? Oletko listannut tutkimuksiasi ja julkaisujasi esimerkiksi ORCIDiin tai muualle verkkoon?
Jos sinulla ei ole vielä julkaisuja tai jos niitä on vasta hyvin vähän, tuntemattomat tuskin lähestyvät ja pyytävät arvioimaan artikkeleita. Sen sijaan sinut hyvin tuntevat kollegat voivat pyytää, jos he tietävät sinun olevan luotettava ja tekevän työsi hyvin. Jos esimerkiksi ohjaajasi toimittaa teosta, johon tarjotaan sinun tutkimusaiheeseesi liittyvää artikkelia, hän voisi hyvinkin pyytää sinua arvioimaan sitä.
Jotkut kustantamot myös keräävät halukkaiden arvioijien nimiä. Kustantamoon (tai tietyn lehden toimittajalle) voi siis myös suoraan ilmoittaa halustaan tehdä vertaisarviointeja. Joidenkin lehtien submission-järjestelmässä on esimerkiksi kohta, jossa kysytään, olisitko halukas tekemään vertaisarviointeja. Eli siinä vaiheessa, kun lähetät omaa artikkeliasi arvioon, voit ilmoittautua vertaisarvioijaksi. Vaikka näin tekisitkin, se ei silti tarkoita, että sinua heti pyydetään arvioijaksi, mutta ainakin sinut on hieman helpompi löytää.
Miten vertaisarviointi tehdään?
Kun sitten saat sähköpostiisi pyynnön tehdä vertaisarvion, miten olisi hyvä toimia? Mistä lähteä liikkeelle?
Ensinnäkin, lue toimittajan lähettämä sähköposti tarkasti, sillä siinä saatetaan kertoa sinulle ohjeita esimerkiksi siitä, millaisiin asioihin sinun halutaan erityisesti kiinnittävän huomiota. Voi olla, että toimittaja haluaa sinun kiinnittävän erityisesti huomiota metodin käyttöön, koska tietää sinun olevan tämän metodin asiantuntija. Tai sitten hän haluaa kuulla yleisesti mielipiteesi. Hän myös kertoo sen, millä asteikolla käsikirjoitus arvioidaan sekä antaa vertaisarvioinnille aikataulun.
Itse luen artikkelin yleensä vähintään kolmesti. Ensin silmäillen, sitten luen sen läpi suhteellisen kevyesti, ilman että juutun mihinkään pitkäksi aikaa, ja lopuksi vielä hyvin tarkasti.
Ennen kuin laitat kynän sauhuamaan, suosittelen, että vain silmäilet artikkelin läpi. Mikä on sen otsikko? Onko abstrakti selkeä? Ovatko otsikko ja abstrakti linjassa? Millainen kuva artikkelista syntyy? Tiedätkö heti ensi silmäyksellä, mistä kohdasta artikkelia löytyy mikäkin tieto? Onko rakenne selkeä ja löytyykö artikkelista kaikki oleellinen?
Tämän jälkeen voit lähteä lukemaan artikkelia. Tallenna siitä itsellesi kopio, johon voit tehdä vapaasti muistiinpanoja esimerkiksi käyttäen Wordin kommenttitoimintoa. Jos lukiessasi huomaat epäjohdonmukaisuuksia tai jotain muuta kummallista, tee siitä merkintä. Voit seuraavalla lukukerralla tarkistaa, löytyykö siihen joku selitys tai onko asiaa tarkennettu toisessa kohdassa. Voit muutenkin tehdä muistiinpanoja mieleesi nousevista ajatuksista, mutta älä juutu vielä mihinkään, koska silloin saatat kadottaa artikkelin juonen.
Kun nyt tiedät jo melko hyvin, millainen artikkeli on kyseessä, kannattaa lukea se hyvin tarkasti. Voit kiinnittää lukiessasi huomiota esimerkiksi seuraaviin asioihin:
- Löydätkö jotain epäselviä kohtia tai jotain, mikä pitäisi selittää paremmin?
- Käytetäänkö termejä oikein ja onko ne selitetty?
- Onko tutkimus tehty laadukkaasti vai puuttuuko siitä jotain?
- Onko aineisto sopiva tällaiseen tutkimukseen?
- Onko aineisto kuvattu tarpeeksi tarkasti?
- Löydätkö vastaukset tutkimuskysymyksiin?
- Onko artikkelissa pohdintaa ja onko se johdonmukaista?
- Löytyykö artikkelista oleelliset viitteet vai puuttuuko joku tähän aiheeseen liittyvä merkittävä lähde?
- Jos artikkelissa on kuvia, ovatko ne selkeitä ja tarkoituksenmukaisia? Entä taulukot?
- Herääkö sinulle jotain kysymyksiä, kun luet artikkelia? Saatko niihin vastauksen vai pitäisikö kirjoittajan lisätä jotain?
- Onko artikkelissa turhia kohtia, joita voisi poistaa? (Näistä ideoista kirjoittaja on yleensä kiitollinen, koska vertaisarviossa pyydetään usein vain lisäämään tekstiä, jolloin sanamäärä paukkuu.)
Kun olet tehnyt muistiinpanot, voit seuraavaksi miettiä, onko artikkeli mielestäsi tarpeeksi laadukas julkaistavaksi. Täyttääkö se julkaisun kriteerit? Jos päätät hylätä artikkelin, sinun täytyy kertoa sille hyvät perustelut. Onko tutkimuksen toteutuksessa mennyt joku pieleen? Onko metodia käytetty väärin tai onko sellaista edes käytetty? Onko teoria tai joku sen osa selitetty tai ymmärretty väärin? Onko artikkeli niin sekava, että sitä ei saa kohtuullisin muutoksin korjattua julkaisukuntoon?
Jos taas olet sitä mieltä, että artikkeli on loistava, etkä löydä siitä mitään korjattavaa voit ehdottaa toimittajalle, että artikkeli hyväksytään sellaisenaan. Pienet kirjoitusvirheet siellä täällä eivät estä sitä, että artikkeli voitaisiin hyväksyä sellaisenaan. Niistä huolehditaan sitten myöhemmin.
Yleensä artikkelit menevät näiden kahden välimaastoon: hyväksytään joko pienin tai suurin muutoksin. Näissä tapauksissa sinun täytyy kertoa, mitä tarvittavat muutokset ovat.
Jos et tiedä tai osaa sanoa, kannattaako tutkimusta julkaista, kerro se toimittajalle. Jos et ymmärrä tutkimusta, kerro se toimittajalle. Älä anna vastausta, josta et ole itse varma. Tärkeintä on, että tiede pysyy luotettavana. Älä hyväksy julkaisuun vain siksi, että et halua teettää toimittajalla lisää työtä tai et halua tuottaa pahaa mieltä tutkijalle, sillä näin tekisit hallaa tieteelle.
Miten vertaisarvio kirjoitetaan?
Voit päättää, haluatko kirjoittaa kommenttisi erilliselle tiedostolle vai haluatko lisätä ne suoraan artikkelin marginaaleihin käyttäen kommenttitoimintoa. Toimittaja on saattanut kertoa sinulle tarkemmat ohjeet, mutta jos ei, voit itse päättää miten haluat tehdä. Voit myös käyttää molempia: kirjoitat isot linjat erilliseen tiedostoon ja tarkemmat kommentit suoraan artikkeliin.
Joka tapauksessa on hyvä antaa arvion alkuun yleinen kommentti: mitä artikkeli koskee ja millainen yleisvaikutelma sillä on. Mikä on hyvää, mikä vaatii parantelua. Tämän jälkeen voit kertoa tarkemmin, mitkä asiat vaativat korjausta. Jos teet kommentit erilliselle tiedostolle, käytä sivunumeroita tai osioiden numeroita, kun kirjoitat artikkelin tietystä kohdasta. Kirjoitusvirheistä tai kieliopillisista virheistä ei ole syytä antaa erillisiä kommentteja, mutta jos niitä on paljon, kannattaa siitä kirjoittaa yksi yleinen kommentti.
Muista joka tapauksessa olla ystävällinen! Mikään ei ole tutkijan työssä ikävämpää, kuin lukea ilkeitä kommentteja omasta tekstistä. Vaikka olisit sitä mieltä, että artikkeli on huono tai jotkut kohdat ovat täyttä ******, kirjoita kommenttisi rakentavasti. Ei ole mitään syytä olla ilkeä.
Kirjoita silti auki kaikki, mikä mielestäsi vaatii korjattavaa. Älä katso läpi sormiesi, jos jokin on pielessä.
Muista myös kertoa, jos joku on tehty hyvin. Ihan pienetkin positiiviset kommentit voivat pelastaa tutkijan päivän. Jos yleisesti pidit artikkelista tai ainakin jostain sen palasesta, kerro se!
Muista poistaa tietosi tiedostosta!
Jos arviointi on anonyymia (kuten lähes aina on), on tärkeää muistaa poistaa tietosi tiedostosta. Ainakin kun käsittelet tiedostoja Wordilla, ohjelma kirjaa nimesi sen tietoihin, ja tiedoston avaaja voi tarkistaa, kuka tiedostoa on muokannut. Minulla on Microsoft Word for Mac (16.67), ja siinä henkilökohtaiset tiedot näkyvät täällä: Tiedosto -> Ominaisuudet -> Yhteenveto. Jotta anonymiteettisi varmasti säilyy, muista poistaa tiedostosta kaikki henkilökohtaiset tietosi. Minun Word-versiossani, henkilökohtaiset tiedot poistetaan näin:
Valitse Työkalut -> Suojaa tiedosto… -> Valitse Tietosuoja-kohdan alta Poista tiedostosta henkilökohtaiset tiedot tallennettaessa.
Kun tämä on valittu, tallenna tiedosto. Tämän jälkeen nimeäsi ei pitäisi näkyä, kun avaat Tiedosto -> Ominaisuudet -> Yhteenveto.
Lähetä arvio
Lopuksi lähetä arviosi toimittajalle, mielellään hänen ilmoittaman aikataulun mukaisesti. Kerro saatteessa, voiko artikkelin mielestäsi hyväksyä. Muista lisätä liitteet ennen lähetystä!
