Testkonstruktion auf Basis der Probabilistischen Testtheorie (Sitzung 1)
Marc Jekel
14/11/2014
Planung
Sitzung 1 (8 Zeitstunden, Freitag 14.11.2014 von 9:00 Uhr bis 17:00) wird vollständig mit Theorie gefüllt. Übungen in R sollen Inhalte vertiefen und das Verständnis erleichtern. Nach dieser Sitzung sollten Sie das Rasch Modell kennen und Modell- und Personenparameter schätzen können. (Theorieblock 1 bis 3, Praxisblock A)
Sitzung 2 (4 Zeitstunden, Donnerstag 27.11.2014 von 9:00 bis 13:00 Uhr) beginnt mit den Methoden zur Testung der Voraussetzungen des Rasch Modells. Es folgt eine ausführliche praktische Übung: Wir führen eine komplette Rasch-Analyse an einem Beispieldatensatz durch. Es folgen dann Überlegungen zur Projektarbeit, in der ein raschkonformer Leistungs/Intelligenztest erstellt werden soll. Am Ende der Sitzung sollten Sie das Wissen der vorherigen Sitzung um die Modelltestung erweitert und mit der Trockenübung noch einmal vertieft und ganzheitlich angewendet haben. Sie sollten jetzt prinzipiell fähig sein, einen raschkonformen Test zu konstruieren. Sie sind nun bereit, Items für unseren Leistungstest zu generieren. (Theorieblock 4; Praxisblock B bis C)
Sitzung 3 (4 Zeitstunden, Freitag 12.12.2014 von 9:00 bis 13:00 Uhr ) beginnt mit Erweiterungen zum Rasch Modell. Wir besprechen die erstellten Items für unseren Leistungstest. Nach der Sitzung sollten Sie über das Rasch Modell hinaus prominente Modelle der probabilistischen Testtheorie kennengelernt haben. Sie sollten weiterhin jetzt bereit sein, unseren Leistungstest zu erstellen und zu erheben. Die Sitzung ist eher locker geplant und kann als Puffer dienen. (Theorieblock 5, Praxisblock C)
Sitzung 4 (8 Zeitstunden, Freitag 16.01.2015 von 9:00 bis 17:00 Uhr) verwenden wir zur Analyse der Ergebnisse unseres Leistungstests. Es folgt eine Einführung in das adaptive Testen mit Überlegungen zu einer adaptiven Nutzung unseres Leistungstests. (Optional) Abgerundet wird die Sitzung mit einer (kurzen) Einführung in die Erstellung von dynamischen Reports zur Dokumentation von (wissenschaftlichen) Projekten mit Hilfe von R(-Studio). (Theorieblock 6, Praxis-Block C bis D)
Theorie Block 1
Überblick Rasch Modell
Funktionsform
Personen und Aufgabenparameter
Iteminformation und Testinformation
Schätzfehler und Konfidenzintervalle für Parameter
Maximum (Log)-Likelihood Schätzung der Personenparameter bei bekannten Aufgabenparametern
Theorie Block 2
Annahmen und Eigenschaften des Rasch Modells
Lokale stochastische Unabhängigkeit
Suffiziente Statistik
Spezifische Objektivität
Eindimensionalität
Monoton steigende Item-Response Kurven
Theorie Block 3
Parameterschätzung des Rasch Modells
Joint Maximum Likelihood
Conditional Maximum Likelihood
Marginal Maximum Likelihood
(Bayesian Item Response Theory)
Praxis-Block A
Praktische Übungen in R
Programmierung und Anwendung von Item Response Theory Funktionen
Maximum Likelihood Schätzung
Conditional Maximum Likelihood
Marginal Maximum Likelihood
(Kleine) Simulationen zu Item Response Theory Aspekten selber programmieren
Vergleich klassische Testtheorie mit Item Response Theory
Ein psychologischer Test besteht aus einer Menge von Reizen mit den zugehörigen zugelassenen Reaktionen, d.h. aus einer Menge von manifesten Variablen, und einer Vorschrift (Skala), die den Reaktionsmustern der manifesten Variablen Ausprägungen einer oder mehrer latenter Variablen zuordnet.
(Krauth, 1995, S. 18, zitiert nach Eid, 2014, S. 29)
Definition Psychologischer Test
Ein psychologischer Test besteht aus einer Menge von Reizen mit den zugehörigen zugelassenen Reaktionen, d.h. aus einer Menge von manifesten Variablen, und einer Vorschrift (Skala), die den Reaktionsmustern der manifesten Variablen Ausprägungen einer oder mehrer latenter Variablen zuordnet.
(Krauth, 1995, S. 18, zitiert nach Eid, 2014, S. 29)
Skala
Latente Variable
Datenmatrix (Manifeste Variable)
Grünes Item
Schwarzes Item
Rotes Item
Proband 1
0.00
0.0
0.00
Proband 2
1.00
0.0
0.00
Proband 3
1.00
1.0
0.00
Proband 4
1.00
1.0
1.00
Itemschwierigkeit [KTT]
0.75
0.5
0.25
Latente Variable
Manifeste Variable
Skalierung
Skalierung Naturwissenschaften
(Koller et al., 2012, S. 2)
Invariantes Messen|Engelhard (Kapitel 1, 2013)
Ziel ist es, Skalen zu entwickeln, die die Verortung von Personen und Items auf einer zugrundeliegenden (latenten) Variablen ermöglichen.
Item-invariantes Messen von Personenparametern: Eine fähigere Person sollte immer eine höhere Wahrscheinlichkeit haben, ein Item zu lösen, als eine weniger fähige Person.
Personen-invariantes Messen von Itemparametern: Jede Person sollte bei einem einfacheren Item eine höhere Wahrscheinlichkeit haben das Item zu lösen als bei einem schwierigeren Item.
Items und Personen sollten auf einer gemeinsamen zugrundeliegenden latenten Variablen lokalisiert werden.
Guttman Skala|Beispiel für ein deterministisches Modell
val =rlogis(10000) # logistic distributionplot(density(val/1.7),lwd=2, main ="")
val2=rnorm(10000) # standard normal distributionpoints(density(val2),type ="l",col="red",lwd=2)
Warum Logit-Skala?|(Engelhard, 2013)
Logits sind aprroximativ normalverteilt.
Logits gehören zur Familie der exponentiellen Verteilungen, die viele gute statistische Eigenschaften besitzen (Barndord-Nielson, 1978).
Die Log-Transformation ist eine von vielen Arten, um Proportionen in eine lineare Skala zu übersetzen.
Programmiere das Rasch Modell als Funktion in R nach.
Wie hoch ist die Lösungswahrscheinlichkeit eines Items mit einer Itemschwierigkeit \(\beta = 2\) für Probanden mit Fähigkeiten \(\theta = (-4, 0, 2, 2.1, 4, 4.1)\)?
Die Standardabweichung des Schätzfehlers eines Personenparameters \(\theta_i\) lässt sich also durch Erhöhung der Itemzahl und durch Auswahl informativer Items verringern.
Standardabweichung des Schätzfehlers für Personenparameter
Welche Werte umfasst das 95% Konfidenzinterval für einen Proband \(i\) mit einem \(\theta_i = 2\) und einem Test mit 3 Items \(\beta_j = (-2,1,4)\).
Ein neues Item wird hinzugefügt. Welche Eigenschaften sollte es haben, damit das Konfidenzinterval von Proband \(i\) optimal (d.h., maximal) minimiert wird? Wie stark wird es minimiert?
Eigenschaften Rasch Modell
Annahmen und Eigenschaften des Rasch Modells
Lokale stochastische Unabhängigkeit
Suffiziente Statistik
Spezifische Objektivität
Eindimensionalität
Monoton steigende IRT Kurven
Stochastische Unabhängigkeit
Es gilt \(p(A \cap B) = p(A) \times p(B)\), wenn \(p(A|B) = p(A)\) und \(p(B|A) = p(B)\). (Unabhängigkeit der Eintretenswahrscheinlichkeit von Ereignissen)
Beispiel: Wahrscheinlichkeit zweimal eine 6 zu würfeln ist \(p(A \cap B) = p(A) \times p(B) = 1/6 \times 1/6 = 1/36\).
Die Wahrscheinlichkeit für einen Probanden \(i\) eine Aufgabe \(j=z\) zu lösen ist nicht abhängig davon, ob eine andere Aufgabe \(j \neq z\) gelöst wurde.
Frage: Stochastische Unabhängigkeit im Rasch Modell? Fähigere Personen sollten Items doch eher lösen als weniger fähige Personen?
(Lokale) Stochastische Unabhängigkeit im Raschmodell
Es handelt sich um Unabhängigkeit von konditionalen (!) Wahrscheinlichkeit: \(p(x_{j=z}|\theta_i) = p(x_{j=z}|x_{j \neq z},\theta_i)\).
Implikation: Eine hohe Korrelationen zwischen Items (bei gleichen \(\theta\)) kann also auf eine Verletzung der lokalen stochastischen Unabhängigkeit hindeuten.
Lokale Stochastische Unabhängigkeit im Raschmodell
Kopf =6
Lik =dbinom(Kopf,10,seq(0,1,.01))
plot(seq(0,1,.01),
Lik, type="l",xlab="theta",ylab="Likelihood",
main =paste("Likelihood Funktion für ",Kopf," von 10"),
lwd =3)
Maximum-Likelihood
Welches \(\theta\) liefert die maximale Likelihood bei 6mal Kopf und 4mal Zahl.
Plotte die (a) Likelihood Kurve und (b) die Log-Likelihood Kurve für ein Item, bei dem Probanden mit Fähigkeiten \(\theta_i = (-2, 2, 1, 7)\) das folgende Antwortmuster zeigen \(x = (0, 0, 1, 1)\).
Wie hoch ist die log-Likelihood für vier Probanden mit \(\theta_i = (-2, 2, 5, 7)\) und drei Items \(\beta_j = (-3,-1,3)\) und Antwortpattern \(x_1 = (0,1,1,1)\), \(x_2 = (0,0,1,1)\) und \(x_3 = (0,0,0,1)\)
Likelihood
Vier Probanden mit Fähigkeiten \(\theta_i = (-2,2,5,7)\) und Antwortpattern \(x_1 = (0,1,1,1)\), \(x_2 = (0,0,1,1)\) und \(x_3 = (0,0,0,1)\).
Likelihood
Likelihood
Likelihood: Unabhängigkeit der Items
R-Demo: Maximum Likelihood Fläche in IRT
Simplex (Nelder-Mead)
(Lewandowsky & Farrell, 2011, S. 83)
Quasi-Newton Methode
Method “BFGS” is a quasi-Newton method (also known as a variable metric algorithm), specifically that published simultaneously in 1970 by Broyden, Fletcher, Goldfarb and Shanno. This uses function values and gradients to build up a picture of the surface to be optimized.
(Source: help(optim) in R)
Quasi-Newton methods are methods used to either find zeroes or local maxima and minima of functions. They are an alternative to Newton’s method when the Jacobian (when searching for zeroes) or the Hessian (when searching for extrema) is unavailable or too expensive to compute at every iteration.
(Source: Wikipedia :-( )
Übung
Wie hoch ist die max(log-Likelihood) für vier Probanden mit \(\theta_i = (-2, 2, 5, 7)\) und den Antwortvektoren \(x_1 = (0, 0, 0)\), \(x_2 = (1,0,0)\), \(x_3 = (1, 1, 0)\) und \(x_4 = (1, 1, 1)\)? Welche drei Itemparameter ergeben sich?
Maximum Likelihood Schätzung in R
library(stats4)
mle(minusLogLikFunction)
Maximum Likelihood Schätzung in R Beispiel Lineare Regression
## Daten generieren: Ein Kriterium, zwei Prädiktoren
y =1:100 +rnorm(100,0,20)
x1 =1:100 +rnorm(100,0,20)
x2 =rnorm(100,0,20)
## Minus Loglik Function
minusLogLikFunc =function(b0 =1, b1 =1, b2 =1, sdEst=500){
yHat =b0 +b1 *x1 +b2 *x2
error =y -yHat
output =-sum(log(dnorm(error, mean =0, sd = sdEst)))
return(output)
}
minusLogLikFunc()
## [1] 713.6349
## Maximum Likelihood Schätzung
library(stats4)
mleEst =mle(minusLogLikFunc, control =list(maxit =10^9, factr =10^-15))
summary(mleEst)
Die Anzahl der gelösten Aufgaben ist eine erschöpfende (= suffiziente) Statistik (= Kenngröße) für die Fähigkeit \(\theta\) eines Probanden.
\(\rightarrow\) Es ist also nicht notwendig zu wissen, welche Aufgaben gelöst wurden. Es reicht aus zu wissen, wie viele Aufgaben gelöst wurden.
\(\rightarrow \rightarrow\) Für einen Probanden \(i = 1\), der nur die leichteste Aufgabe löst, und für einen Probanden \(i = 2\), der nur die schwierigste Aufgabe löst, gilt: \(\theta_1 = \theta_2\).
Aussagen über die Fähigkeiten von Probanden sind nicht abhängig von den Aufgaben.
Ein Proband \(i = 1\) mit der Fähigkeit \(\theta_1\) muss mit einer höheren Wahrscheinlichkeit eine Aufgabe \(j\) lösen als ein Proband \(i = 2\) mit der Fähigkeit \(\theta_2\), wenn gilt: \[\theta_1 > \theta_2.\]
Aussagen über die Schwierigkeiten von Aufgaben sind nicht abhängig von den Probanden.
Es gilt \(p(\text{grün}) > p(\text{schwarz})\) für alle \(\theta\) oberhalb des Schnittpunkts der beiden Kurven, sonst gilt \(p(\text{grün}) < p(\text{schwarz})\).
Testpersonen mit gleicher Fähigkeit in unterschiedlichen Subgruppen (z.B. Geschlecht) sollten den gleichen Fähigkeitsparameter erhalten.
Beispiele für mögliche Verletzung Subgruppeninvarianz
Fähigkeit: Geographiewissen; Item: Liegt Göttingen im Norden oder Süden von Deutschland?; Subgruppen: Deutsche versus Amerikaner
Fähigkeit: Mathematik-Kompetenz; Textaufgabe; Subgruppen: Muttersprachler versus Zweitsprachler
Eindimensionalität
Personenparameter und Aufgabenparameter liegen auf einer gemeinsamen latenten Dimension.
Implikation: Eine Mathematikaufgabe sollte auch nur mathematische Fähigkeiten messen und nicht noch zusätzlich z. B. Lese-/Sprachkompetenz (z. B. mathematische Textaufgabe).
Iteratives Vorgehen: (Random) Personenparameter werden gewählt. Dann werden die max-lik Itemparameter für diese Personenparameter berechnet. Dann werden diese geschätzten Itemparameter verwendet, um wiederum die Personenparameter zu schätzen usw.
Problem: Mit jedem neuen Probanden \(i\) müssen wir einen neuen freien Parameter \(\theta_i\) schätzen. Mit jedem neuen Item \(j\) müssen wir einen neuen freien Parameter \(\beta_j\) schätzen. Schätzer für die Parameter sind nicht konsistent.
Setzt bei der Marginal Maximum Likelihhood an: Zusätzlich zur Likelihood erhalten Parameterwerte noch einen Prior Wahrscheinlichkeit-en/sverteilungen, aus der die Posterior Wahrscheinlichkeit(sverteilung) berechnet wird.
Fox, J.-P. (2010). Bayesian item response modeling. New York: Springer.
Hausaufgabe
Ability Test: Welches Konstrukt könnten wir messen (Fähigkeit, Intelligenz, Achtung: Raschskalierung)? Wie könnten die Items aussehen?
Artikel lesen: Embretson, S. E. (1996). The new rules of measurement. Psychological Assessment, 8, 341-349.
Vergleich Klassiche Testtheorie und Probabilistische Testtheorie
Vergleich Klassiche Testtheorie und Probabilistische Testtheorie
