Zastosowanie teorii odpowiadania na pozycje testowe (IRT) do tworzenia skróconych wersji testów i kwestionariuszy psychologicznych
Loading...
Date
2013-04-18
Authors
Advisor
Editor
Journal Title
Journal ISSN
Volume Title
Publisher
Title alternative
Application of the item response theory (IRT) to create shortened versions of psychological tests and questionnaires
Abstract
Praca bazuje na teorii Item Response Theory (IRT) i modelach matematycznych, które się z niej wywodzą. Rozprawa ma charakter eksploracyjny, a jej podstawowym zadaniem było sprawdzenie warunków tworzenia i używania skróconych wersji testów i kwestionariuszy. Drugim celem pracy było zbadanie równoległości papierowych i komputerowych narzędzi badawczych wykorzystywanych w psychologii. Trzecim celem pracy było promowania metod probabilistycznych jako użytecznego narzędzia statystycznego w psychologii. Budowania skróconych wersji narzędzi badawczych w oparciu o IRT ma ogromną zaletę, ponieważ określa przydatność poszczególnych pozycji bez względu na ich poziom pomiarowy. Używanie modeli IRT przy analizowaniu wyników dotyczących zmiennych latentnych ma dwie zalety: 1) wyniki wyrażane są na mocnej skali interwałowej (Embretson i DeBoeck, 1994; Harwell i Gatti, 2001) oraz 2) modele IRT pozwalają na dokładniejszą estymację błędu pomiarowego SEM (Fraley, Waller i Brennan, 2000; Mellenbergh, 1999; Reise i Haviland, 2005). Przeprowadzone badania i symulacje wykazały, że poziom błędu jest mocniej związany z wynikami surowymi i przeliczonymi, niż z wynikami określonymi za pomocą poziomu cechy latentnej. Badania dostarczyły także informacji o zależności między długością narzędzia badawczego a wariancją wyników. Jest to zależność krzywoliniowa i od pewnego punktu wydłużanie narzędzia nie przynosi znaczącej poprawy jakości wyników. Rezultaty uzyskane w pracy pokrywają się z wynikami przedstawionymi przez innych badaczy dla prostszych modeli. Zarówno Embretson (1996), jak i Kang oraz Waller (2005) stwierdzili niewielki wpływ długości testu na wielkość błędu, niezależnie od sposobu przeliczania wyniku. W klasycznej teorii testu zwiększanie długości skali jest jedną z metod zwiększania rzetelności pomiaru, jednak badania przeprowadzone w oparciu o IRT sugerują, że takie podejście jest mało efektywne.
The work is based on an Item Response Theory (IRT) and mathematical models which are derived from it. The dissertation is on the exploratory character. Its aims are threefold: first, to check the conditions of creating the shortened versions of tests and questionnaires; second: examining equivalence of paper and computer research tools used at the psychology; and third: to promote probabilistic methods as the useful statistical tool at the psychology. Building research tools on the basis of the IRT has one big advantage – it allows to determine the usefulness of individual items irrespective of their measuring level. Using IRT models for analysing scores concerning latent variables has two benefits: 1) results are expressed on the strong interval scale (Embretson and DeBoeck, 1994; Harwell and Gatti, 2001) and 2) IRT models allow for the more accurate estimation of the standard measuring error (Fraley, Waller and Brennan, 2000; Mellenbergh, 1999; Reise and Haviland, 2005). The research shows that the level of the SEM is more associated with results raw and computed, than with results determined with the level of the latent variable. Provided examinations also inform about the relation between the length of the research tool and the variance of the results. It is curvilinear relation and from the certain point extending the tool does not bring the significant improvement to the quality of results. Results presented in this work are compatible with results reported by other researchers for simpler models. Both Embretson (1996), as well as Kang and Waller (2005) found the slight influence of the test length on the SEM, irrespectivly of the way of calculating the scores. In the classic test theory increasing the test or questionaire lenght is one of methods of increasing the reliability of the measurement, however my simulations based on IRT suggests that such an approach is not very effective.
The work is based on an Item Response Theory (IRT) and mathematical models which are derived from it. The dissertation is on the exploratory character. Its aims are threefold: first, to check the conditions of creating the shortened versions of tests and questionnaires; second: examining equivalence of paper and computer research tools used at the psychology; and third: to promote probabilistic methods as the useful statistical tool at the psychology. Building research tools on the basis of the IRT has one big advantage – it allows to determine the usefulness of individual items irrespective of their measuring level. Using IRT models for analysing scores concerning latent variables has two benefits: 1) results are expressed on the strong interval scale (Embretson and DeBoeck, 1994; Harwell and Gatti, 2001) and 2) IRT models allow for the more accurate estimation of the standard measuring error (Fraley, Waller and Brennan, 2000; Mellenbergh, 1999; Reise and Haviland, 2005). The research shows that the level of the SEM is more associated with results raw and computed, than with results determined with the level of the latent variable. Provided examinations also inform about the relation between the length of the research tool and the variance of the results. It is curvilinear relation and from the certain point extending the tool does not bring the significant improvement to the quality of results. Results presented in this work are compatible with results reported by other researchers for simpler models. Both Embretson (1996), as well as Kang and Waller (2005) found the slight influence of the test length on the SEM, irrespectivly of the way of calculating the scores. In the classic test theory increasing the test or questionaire lenght is one of methods of increasing the reliability of the measurement, however my simulations based on IRT suggests that such an approach is not very effective.
Description
Wydział Nauk Społecznych: Instytut Psychologii
Sponsor
Keywords
psychometria, psychometry, IRT, wersje skrócone testów, shortened versions of tests, testowanie komputerowe, computerised testing, testowanie adaptacyjne, adaptive testing