Asiantuntijapaneelin arvionti ja testaus osana mittarin kehittämistä

Miten mittari pääpiirteissään kehitetään, miksi asiantuntijapaneelia käytetään ja miten sitä voidaan hyödyntää mittarin kehittämisessä ovat kysymyksiä joihin pyrimme nyt vastaamaan.

Mittarin kehittäminen koostuu kahdeksasta eri vaiheesta:

1. Määritellään mitä halutaan mitata
2. Muodostetaan mittarin väittämät
3. Määritellään mittarin asteikko. Esimerkiksi Likert-asteikko
4. Testataan mittari asiantuntijapaneelilla
5. Arvioidaan, mitkä väittämät ovat hyviä mittariin ja valitaan sopivat väittämät
6. Tehdään pilottitestaus kohdejoukolle
7. Viimeinen arviointi. Arvioidaan onko väittämät hyviä, soveltuuko valittu asteikko mittariin ja onko avoimet kohdat muotoiltu oikein.

 Tarkastelemme nyt tarkemmin vaihetta 4. asiantuntijapaneelin käyttöä.

Miksi asiantuntijapaneelia käytetään?

Asiantuntijapaneelin käyttö on tärkeä osa mittarin kehittämistä. Asiantuntijapaneeli arvioi tutkijan laatimaa mittaria ja antaa ehdotuksia muokkaukselle. Asiantuntijapaneelin mielipiteiden ja kehittämisehdotusten perusteella tutkija voi muokata mittaria ennen mittarin käyttöä.

Asiantuntijapaneelin keskeinen tarkoitus on:

• Vahvistaa tutkijan ymmärrys ja käsitteellistäminen ilmiöstä.
• Varmistaa, että mittariin nostetut asiat ovat keskeisiä ja ne kannattaa pitää mittarissa.
• Tutkijan hypoteesin varmistaminen. Asiantuntijapaneeli voi huomata hypoteesin sisältävän turhia asioita tai sen olevan liian kapea alainen.
• Operationalisointiprosessin onnistuminen
• Tarkistaa väittämien selkeys
• Huomioida mahdolliset puuttuvat asiat ilmiöstä
• Parantaa sisällön paikkaansa pitävyyttä/pätevyyttä (sisältövaliditeetti).
• Parantaa mittarin luotettavuutta. 

Ketä paneelin voidaan valita?

Asiantuntijapaneelin voidaan valita henkilöitä, jotka ovat alan ammattilaisia. Heillä voi olla esimerkiksi tarvittava koulutus ja pitkä kliininen asiantuntijuus alalta tai teoreettinen osaaminen asiasta. Asiantuntijapaneelin jäsen voi olla esimerkiksi henkilö, joka on tutkinut aihetta ja tehnyt esityksiä tai julkaisuja aiheesta. Lisäksi asiantuntijapaneeliin jäsenenä voi olla myös mittaamisen asiantuntija eli tilastotieteilijä. Yleensä käytäntönä on, että asiantuntijapaneelissa on 2-20 asiantuntijaa. Mikäli aihe on suppea voi kaksikin asiantuntijaa olla riittävä. Joskus taas suositellaan, että asiantuntijoita ei olisi yli kymmentä.

Asiantuntijapaneelin avulla halutaan varmistaa että mittari on hyvin rakennettu ja sisällöllisesti validi.

Asiantuntijapaneelin ohjeistaminen

Ennen asiantuntijapaneelin kokoontumista asiantuntijoille lähetetään saatekirje, jossa esitellään tutkimus. Kirjeessä kerrotaan, mitä tukimusta ollaan tekemässä, tutkimuksen tavoite ja tarkoitus sekä keskeiset käsitteet ja aiheenrajaus. Tärkeää on myös tuoda esille asiantuntijan tehtävä paneelissa.

Mittarin arvioiminen

Asiantuntijapaneeli arvioi mittaria kysymys kerrallaan. Jokainen kysymys arvioidaan erikseen asteikolla 1-4.

1=Kysymys ei ole mielestäni lainkaan oleellinen

2=Kysymys ei ole mielestäni kovinkaan oleellinen

3=Kysymys on mielestäni melko oleellinen

4=Kysymys on mielestäni erittäin oleellinen

Mikäli kysymys saa arvon 1-2, se luokitellaan ei oleelliseksi ja mikäli se saa arvon 3-4 se on oleellinen eli sen pitäminen osana mittaria on perusteltua.

Näiden arvioiden perusteella lasketaan kysymyslomakkeen luotettavuusindeksi eli CVI.

Kysymyskohtainen luotettavuusindeksistä käytetään merkintää I-CVI ja koko kyselylomakkeen luotettavuusindeksi S-CVI/Ave. Nämä lasketaan eri kaavoilla.

I-CVI:n laskeminen

I-CVI lasketaan jakamalla olennaiset väittämät asiantuntijoiden määrällä

Käytäntönä on:

• Jos asiantuntijoita alle viisi, tavoitellaan indeksiä 1
• Jos asiantuntijoita viisi tai enemmän, tavoitellaan indeksiä >.78p

S-CVI/Ave:n laskeminen

S-CVI/Ave lasketaan jakamalla I-CVI arvojen summa väittämien määrällä

Käýtäntönä on:

• Tavoite >.90

S-CVI/UA lasketaanjakamalla oleellisten väittämien määrä kaikkien väittämien määrällä (.57)

Ave arvo huomioi myös muut muuttujat ja tämän vuoksi sen käyttöä suositellaan I-CVI:n sijaan. Mittarin yhteydessä tulisi ilmoittaa Ave- arvo. Se lisää mittarin luotettavuutta.

Kun asiantuntijapaneeli on arvioinut mittarin, jatketaan mittarin kehittämistä vaiheesta 5.


Lähteenä Markus Karttusen luennot 18.1.2017