Hornowska skrypt -bez wzorów.doc

PSYCHOMETRIA - Hornowska

I

Pomiar cech psychologicznych – 5 zasad:

1.cechy definiowane na 2 poziomach: definicja semantyczna – zjawiska obserwowalne (zachowania itd.), definicja syntaktyczna – powiązanie z innymi konstruktami teoretycznymi, ramy interpretowania otrzymanych wyników

2.nieuniwersalne – należy znać teorię, w ramach której mierzony konstrukt został zdefiniowany, aby wyniki pomiaru zostały właściwie zinterpretowane

3.ograniczona próbka zachowań – zawężamy obszar zachowań do tych, które uważamy za najbardziej adekwatne

4.wyniki zawsze obarczone określonym błędem (ograniczenia – próba, czas itd.) – istotne ustalenie sposobu określania wielkości popełnionego błędu przy danej procedurze

5.wyniki pomiaru psychologicznego nie zawsze przekładają się na skale o dobrze zdefiniowanych jednostkach – na ile odzwierciedlają rzeczywiste różnice

2 podstawowe teorie psychometryczne: TEORIA LOSOWEGO DOBORU PRÓBY i TEORIA ODPOWIADANIA NA POZYCJE TESTU

Test – narzędzie pomiarowe, które: pozwala uzyskać takiej próbki zachowań, o których można powiedzieć, że są wskaźnikami danej cechy; dostarcza reguł obliczania wartości danej cechy; spełnia kryteria formalne: obiektywność, standaryzacja, rzetelność, trafność i normalizacja; jasno określa zakres i rodzaj dopuszczalnych zachowań ze strony diagnosty; zakłada kooperacyjną postawę osoby badanej

Badanie testowe to sytuacja, w której osoba badana uczestniczy dobrowolnie, świadoma celu, jakim jest jej ocena.

Testy:
*standaryzowane (dokładne zasady stosowania; normy) i niestandaryzowane (interakcyjne modyfikowanie syt. badania)
*indywidualne i grupowe
*szybkości (ograniczony czas; różnice indywidualne determinowane szybkością wykonania) i mocy (trudność zadań stopniowo rośnie; otrzymany wynik determinowany poziomem mierzonej cechy)
*obiektywne (wynik może być obliczony przez osobę bez przygotowania psychologicznego) i nieobiektywne (wynik często odzwierciedla subiektywne umiejętności psychologa)
*słowne i bezsłowne
*właściwości poznawczych (testy zdolności, uwagi, pojemności pamięci; PROBLEM: zgadywanie) i właściwości afektywnych (postawy, wartości, zainteresowania; PROBLEM: trafność samopisu)
*zorientowane na normy (punktem odniesienia do interpretacji wyników konkretna populacja osób) i zorientowane na kryterium (pkt odniesienia: konkretny zakres wiedzy; specyficzne umiejętności)

KRYTERIA FORMALNE

1.OBIEKTYWNOŚĆ, czyli niezależność wyników testowania

*dwie różne osoby opracowujące wyniki dochodzą do tego samego rezultatu
*test musi posiadać jasno określony klucz oceniania odpowiedzi
*metoda badania obiektywności testu: technika tzw. ślepej diagnozy (bez konsultacji z osobą badaną, kilka niezależnych osób)

2.STANDARYZACJA, czyli jednolitość warunków badania

*dany test zawsze w identycznych warunkach – aby wyniki można było porównać
*elementy sytuacji testowania: instrukcja, pomoce oraz zasady oceniania i interpretowania wyników
*procedura badania testem: zasady ogólne, instrukcja, pomoce; procedura obliczania wyników: klucz do oceny odpowiedzi, obliczanie wyników; procedura interpretowania wyników: normy
*każde odstępstwo od standardowych warunków badania (przewidzianych w podręczniku testowym) sprawia, że badanie to nie jest już badaniem testowym (!) – nie wolno wówczas korzystać z norm testowych

3.RZETELNOŚĆ – na ile dokładnie test mierzy to co mierzy; dokładność pomiaru

*=wielkość błędu, jaki popełnia psycholog, interpretując wyniki danego testu
*określa granice interpretacji otrzymanego wyniku testowego
*w jakim stopniu wynik danego testu odzwierciedla poziom mierzonej cechy u danej osoby (a nie wpływ czynników losowych)
*umiejętność zbudowania przedziału ufności dla tzw. wyniku prawdziwego (podane w podr dane o wielkości standardowego błędu pomiaru

4.TRAFNOŚĆ – czy test mierzy to co mierzy; obszar zastosowania testu (potwierdzony empirycznie)

*co można poprawnie wywnioskować na podstawie wyniku testowego
*info o tym, jak test pełni swoją funkcję
*trafność zawsze dotyczy konkretnego zastosowania

5. NORMY, NORMALIZACJA, czyli nadawanie znaczenia wynikom testowym

*podstawą interpretacji wyników testowych jest zawsze jakiś układ odniesienia; wynik
surowy danej osoby odnosi się do rozkładu wyników otrzymanego w próbie standaryzacji
*wybór grupy odniesienia ma kluczowe znaczenie dla tego, jakie wnioski końcowe zostaną wyprowadzone
*efekt normalizacji: zbudowanie zestawu norm, które stanowią podstawę interpretacji wyników testowych
*normy mają charakter relatywny – zależą od tego, kto tworzy grupę odniesienia (wynik tej samej osoby raz może zostać zinterpretowany jako niski, a raz jako wysoki)
*brak właściwych norm (np. opracowanych dla populacji polskiej) dyskwalifikuje metodę jako test psychologiczny

6. WŁAŚCIWA ADAPTACJA

*adaptacja – proces przystosowania wersji pierwotnej testu do specyfiki kultury lokalnej (nie tylko tłumaczenie!)
*2 strategie: psychometryczna (tworzenie równoległej wersji narzędzia) i pragmatyczna (kulturowy i społeczny kontekst badania; teoretyczne zaplecze, do którego odwołuje się psycholog, interpretując wyniki)

PROCES WNIOSKOWANIA PSYCHOMETRYCZNEGO

*ocena wartości natężenia cechy (umiejscowienie osoby badanej na kontinuum danej cechy)

podstawą wnioskowania psychometrycznego – wynik obserwowany (uzyskany w teście)
àon odzwierciedla jedynie poziom wykonania pozycji testowych tworzących konkretną próbkę, jaką jest dany test, w konkretnym czasie i miejscu!
àuzyskiwany poprzez przypisywanie wartości liczbowych odpowiedziom lub reakcjom na pozycje testu; odp prawdziwa – diagnostyczna, nieprawdziwa – niediagnostyczna, wynik ogólny – suma odpowiedzi
określając liczbę zachowań uznanych za diagnostyczne – ocena ogólnej wartości natężenia cechy
wynik prawdziwy – wynik odzwierciedlający rzeczywistą wartość mierzonej cechy u danej osoby (idealizacja)

w tym kontekście rzetelność = wielkość współczynnika korelacji między wynikiem obserwowanym a wynikiem prawdziwym
im wyższa rzetelność testu, tym dokładniej możemy oszacować wynik prawdziwy osoby badanej (ale najpierw TRAFNOŚĆ, później rzetelność)
trafność – związek między wynikiem prawdziwym a przedmiotem pomiaru

II

KLASYCZNA TEORIA TESTÓW (àpodstawa wnioskowania o rzetelności testu)

rzetelność odnosi się do powtarzalności otrzymanych wyników; zgodność wyników otrzymanych przez te same osoby przebadanych kilka razy jednym testem

otrzymany wynik nigdy nie jest idealnym odzwierciedleniem wartości mierzonej cechy

w pomiarze testowym zawsze błąd – jakie jego źródła

-błąd systematyczny – nie ma nic wspólnego z mierzoną cechą; spowodowany stałymi cechami badanej osoby lub narzędzia pomiarowego (np. zawsze zakreśla „nie zgadzam się” gdy nie rozumie pytania) àw kolejnym badaniu będzie reagowała tak samo; błąd w ten sam sposób wpływa na wyniki testowania w obu sytuacjach; wyniki są powtarzalne, ale mniej użyteczne

-błąd losowy – działanie przyczyn przypadkowych; zwiększanie lub zmniejszanie wyniku testowego; np. sposób konstrukcji testu, sytuacja testowania, sposób oceny wyników; wyniki nie są ani powtarzalne, ani użyteczne

              *konstrukcja testu – specyficzny dobór treści, z jakiej zbudowane są pozycje testu; niektóre osoby otrzymują wyższy wynik tylko dlatego, że treść pozycji testowych szczególnie im odpowiada lub szczególnie ich dotyczy; stopień w jakim wyniki testowe odzwierciedlają specyficzną treść testu – źródło błędu

              *sytuacja testowania – sytuacje które obniżą motywacją, wpłyną na stopień koncentracji uwagi – czynniki sytuacyjne, czynniki zw z osobą badaną, czynniki zw z osobą badającą

              *sposób oceny wyników – błędy mechaniczne (źle policzone, źle przyłożony arkusz); błędy wynikające ze zbyt ogólnych kryteriów oceniania odpowiedzi (ogólne kryteria punktacji odpowiedzi; wynik odzwierciedla indywidualne doświadczenie osoby oceniającej odpowiedzi)

Klasyczna Teoria Testów – MODEL WYNIKU PRAWDZIWEGO; Spearman

Każdy wynik obserwowany w teście (X) jest składową: wyniku prawdziwego (T) i błędu pomiaru (E) à równanie klasycznej teorii testów: X=T+E

Interesuje nas T i jego wartość chcemy oszacować.

Założenia:

-wszystkie błędy (ten sam test, ta sama os badana ileś tam razy) mają rozkład normalny i średnią 0 à ME=0 [ME – średnia arytmetyczna błędu] ZAŁOŻENIE O NIEOBCIĄŻONOŚCI NARZĘDZIA POMIAROWEGO = błąd z którym mamy do czynienia jest losowy
              -nie ma związku między wynikiem prawdziwym a błędem pomiaru (bo błąd jest losowy) à rTE=0 [współczynnik korelacji między T i E] ZAŁOŻENIE O NIEZALEŻNOŚCI

-nie ma związku między błędami otrzymanymi w dwóch kolejnych badaniach tym samym testem (bo błąd losowy) à rE1E2=0

Te 3 założenia = podstawa KLASYCZNEJ TEORII TESTÓW

Pytanie o wielkość związku między wynikami obserwowanymi a prawdziwymi à współczynnik korelacji między wyn obs a praw to WSKAŹNIK RZETELNOŚCI

Rzetelność to stosunek wariancji wyników prawdziwych do wariancji wyników otrzymanych – w jakim stopniu wariancja wyników prawdziwych określa wariancję wyników otrzymanych

Testy równoległe – testy, które mierzą dokładnie to samo i dokładnie tak samo, jednak pozycje testowe składające się na te testy zbudowane są z różnych treści [te same: średnie wyniki, odchylenia standardowe wyników, interkorelacje pozycji, współczynniki otrzymanych wyników z pewną zmienną Z]

Współczynnik korelacji między wynikami dwóch testów równoległych jest równy stosunkowi wariancji wyników prawdziwych do wyników otrzymanych = rzetelność testu.

Współczynnik rzetelności – interpretowany jako odsetek wariancji wyników otrzymanych, jaką można przypisać wynikom prawdziwym.

Rzetelność nigdy nie jest ujemna (bo kwadrat współ korelacji)

METODY BADANIA RZETELNOŚCI

1)Metoda powtarzania testu (technika test-retest)

-współczynnik rzetelności szacowany tą metodą nazywany jest WSPÓŁCZYNNIKIEM STABILNOŚCI BEZWZGLĘDNEJ (współczynnik korelacji wyników pierwszego z drugim testem)– mówi o tym, w jakim stopniu wyniki testowe są wrażliwe na przypadkowe zmiany, dotyczące zarówno osoby badanej jak i warunków badania

-istotnym czynnikiem DŁUGOŚĆ PRZERWY między pierwszym a drugim testowaniem – im dłuższa przerwa, tym niższy współczynnik rzetelności; przerwa powinna być odpowiednio długa by badany zapomniał swoje odpowiedzi i odpowiednio krótka żeby nie zaszły zmiany rozwojowe (nauka czegoś nowego); od kilku tygodni do kilku miesięcy

-specyficzna odmiana tej techniki: badanie tych samych osób tym samym testem bez przerwy czasowej à WSPÓŁCZYNNIK WIARYGODNOŚCI TESTU

2)Metoda wersji równoległych (alternatywnych)

-testy równoległe bez przerwy czasowej à WSPÓŁCZYNNIK RÓWNOWAŻNOŚCI MIĘDZYTESTOWEJ; w jakim stopniu wariancja błędu zależy od różnic między obiema wersjami testu (jaki jest wpływ specyficznej treści pozycji testowych na otrzymany wynik w każdej wersji)

-testy równoległe z przerwą czasową àWSPÓŁCZYNNIK STABILNOŚCI WZGLĘDNEJ; miara stabilności wyników testowych i wpływu treści na wyniki testowe

3)Jednokrotne badanie danym testem

              A)Metoda połówkowa – podział testu na dwie równoległe względem siebie części (losowo przydzielane pozycje testu, podział na pozycje parzyste i nieparzyste lub podział z uwzględnieniem treści i poziomu trudności pozycji) àobliczanie współczynnika korelacji między wynikami dwóch części, WSPÓŁCZYNNIK RÓWNOWAŻNOŚCI MIĘDZYPOŁÓWKOWEJ; źródłem błędu – różnice między połówkami; wzór Spearmana-Browna do oszacowania rzetelności całego testu; metoda wyłącznie do testów moce (konieczne odpowiedzi na wszystkie pozycje przez wszystkie osoby)

              B)Badanie zgodności wewnętrznej – jaki jest średni współczynnik rzetelności testu uwzględniając wszystkie możliwe jego przepołowienia; max. liczba możliwych podziałów = liczba pozycji testowych; WSPÓŁCZYNNIK ZGODNOŚCI WEWNĘTRZNEJ – miara jednorodności pozycji testowych, wzory Kudera-Richardsona: KR20 (śr wariancje wszystkich pozycji testowych), KR21 (śr trudnośc wszystkich pozycji testowych); metoda dla testów złożonych z pozycji dwukategorialnych (ok./nie ok.)à ulepszenie na pozycje wielokategorialne – alfa Cronbacha

              C)Zgodność ocen sędziów – źródłem błędu osoba badająca testem –jej sposób oceny odpowiedzi; te same arkusze testowe dać 2 osobom oceniającym i obliczyć współczynnik korelacji między ocenami dokonanymi przez te osoby; we wszystkich tych przypadkach gdy ocena nie odbywa się przez przyłożenie klucza do arkusza

Wybór metody szacowania rzetelności testu powinien być podyktowany rodzajem testu (metoda homogeniczna czy heterogeniczna) i sposobem myślenia o rzetelności pomiaru (stabilność w czasie czy wiarygodność testu).

Rzetelność testów szybkości

*ograniczone możliwości rozwiązania całego testu przez osoby badane (każdy badany rozwiązuje różną liczbę pozycji testowych)

Techniki szacowania rzetelności oparte na badaniu zgodności szybkości pracy.

àtechniki powtórnego badania, wersji alternatywnych (jednokrotnego badania się nie nadają)

Rzetelność testów zorientowanych na kryterium (standard wykonania)

*podział badanych na tych, którzy osiągnęli wymagane kryterium i na tych, którzy tego kryterium nie spełniają

àWspółczynnik kappa

Czynniki wpływające na wielkość współczynnika rzetelności:

1.DŁUGOŚĆ TESTU – zwiększenie długości testu prowadzi do zmniejszenia wielkości błędu pomiaru, a zwiększenia wariancji wyników prawdziwych; proroczy wzór Spearmana-Browna – obliczanie WSPÓŁCZYNNIKA KROTNOŚCI TESTU (ile razy powinniśmy wydłużyć test, by osiągnąć rzetelność o pożądanej wielkości); dołączane pozycje testowe powinny spełniać warunek równoległości; skuteczne w wypadku testów krótkich

2.ZAKRES (ZMIENNOŚĆ) MIERZONEJ CECHY w badanej próbie osób – wartość współczynnika rzetelności jest pochodną zakresu mierzonej cechy w badanej grupie osób (wariancja mierzonej cechy w badanej grupie osób)

OCENA RZETELNOŚCI INDYWIDUALNEGO WYNIKU

Standardowy błąd pomiaru = odchylenie standardowe rozkładu błędów, które popełniamy wtedy, kiedy przyjmujemy, że wynikiem prawdziwym danej osoby jest średni wynik, jaki uzyskałaby ona w nieskończenie wielu pomiarach tym samym testem

Wnioskowanie o wyniku prawdziwym osoby badanej = budowania dla wyniku otrzymanego w teście tzw. przedziału ufności (granice w jakich znajduje się wynik prawdziwy z określonym prawdopodobieństwem); lub przedział ufności dla estymowanego wyniku prawdziwego (standardowy błąd estymacji wyniku prawdziwego)
W praktyce stosowany przedział ufności dla wyn otrzymanego
Podejmując decyzję o szerokości przedziału ufności (90% czy 95% itd.): 1.powinien być na tyle precyzyjny, abyśmy mieli wystarczające zaufanie do wyniku otrzymanego w teście, 2.i na tyle wąski, by nie sprawiał nam kłopotów interpretacyjnych.

Dla potrzeb diagnozy indywidualnej wystarczająco precyzyjny jest 90%, zaś w badaniach naukowych precyzja może zostać zwiększona do 95%

Standardowy błąd różnicy między dwoma wynikami (gdy porównujemy dwa wyniki tej samej osoby w różnych testach [lub w tym samym, wtedy wzór nieco inny]) = suma kwadratów błędów stand pierwszego i drugiego testu, z której wyciągnięto pierwiastek.

TEORIA UNIWERSALIZACJI jako odmiana Klasycznej teorii testów

Rzetelność testu zależy od kontekstu testowania
Założenie o tzw. losowej równoległości testów
Możemy obliczyć tyle współczynników rzetelności, ile pytań dotyczących źródeł błędu potrafimy zadać.

! Co w tej konkretnej procedurze jest błędem pomiaru? Jak duża jest wariancja wynikająca z każdego z tych źródeł? !
Źródła wariancji

...