.svg)
Zwei Bewerberinnen erreichen in einem Auswahlverfahren 112 und 104 IQ-Punkte – ist dieser Abstand bedeutsam oder Messrauschen? Ohne Testtheorie lässt sich das nicht beantworten. Psychologische Diagnostik ist der systematische Prozess, Informationen über Personen zu erheben und aufzubereiten, um Entscheidungen zu begründen: über eine Diagnose, eine Förderung, eine Therapie oder eine Stellenbesetzung. Die Testtheorie liefert dafür das Handwerkszeug – Modelle darüber, wie ein beobachteter Testwert mit dem tatsächlichen Merkmal zusammenhängt, und Kennwerte, an denen sich die Qualität eines Verfahrens ablesen lässt.
In der Diagnostik-Klausur wird selten nach Definitionen allein gefragt. Geprüft wird, ob du die Gütekriterien auseinanderhalten und anwenden kannst: Welche Reliabilitätsschätzung passt zu einem Speed-Test? Warum belegt ein Cronbachs Alpha von .92 nicht, dass ein Fragebogen eindimensional misst? Warum ist eine hohe Reliabilität notwendig, aber nicht hinreichend für Validität? Dazu kommen die Rechenaufgaben, die verlässlich vorkommen: einen Rohwert in z-Wert, IQ und T-Wert umrechnen, einen Schwierigkeitsindex bestimmen, aus Reliabilität und Streuung den Standardmessfehler ableiten.
Diese Testtheorie-Zusammenfassung deckt den Stoff ab, der in Einführungsmodulen zur Diagnostik den größten Anteil ausmacht: Aufgaben und Entscheidungstypen der Diagnostik, Testarten von psychometrisch bis projektiv, Skalenniveaus und die daran gebundenen zulässigen Kennwerte, Haupt- und Nebengütekriterien, die klassische Testtheorie mit ihrer Grundgleichung, Itemanalyse sowie Normwerte und Standardmessfehler. Alle Lernkarten und Übungsfragen stehen direkt auf dieser Seite. Du kannst sie kostenfrei in deinen Learnboost Account übernehmen und dort mit Spaced Repetition, Lernplan und KI-Tutor weiterarbeiten.
Übernimm diese Inhalte kostenfrei in deinen Learnboost Account — dann arbeiten sie für dich weiter: Spaced Repetition bringt jede Karte zurück, kurz bevor du sie vergisst. So stehst du zur nächsten Klausur nicht wieder am Anfang.
Inhalte kostenfrei übernehmenKostenlos starten · Keine Kreditkarte · Deine eigenen Unterlagen bleiben privat
Psychologische Diagnostik erhebt und verdichtet Informationen systematisch, um Entscheidungen zu begründen, zu kontrollieren und zu optimieren. Die Testtheorie liefert das Fundament dazu: Modelle über den Zusammenhang von Testwert und Merkmal sowie die Kennwerte, an denen sich die Qualität eines Verfahrens ablesen lässt.
Diagnostische Fragestellungen erfüllen fünf Grundfunktionen: Beschreibung (wie ausgeprägt ist ein Merkmal?), Klassifikation (Zuordnung zu einer Kategorie, etwa einer Diagnose nach ICD-11), Erklärung, Vorhersage und Evaluation, also die Messung von Veränderung im Verlauf einer Maßnahme. Bei der Selektion werden Personen für feste Bedingungen ausgewählt (Personalauswahl, Studienplatzvergabe), bei der Modifikation die Bedingungen an die Person angepasst (Therapieplanung, Förderung). Quer dazu stehen Status- gegen Prozessdiagnostik und die normorientierte Auswertung gegen die kriteriumsorientierte, die statt mit einer Bezugsgruppe mit einem definierten Standard vergleicht.
Leistungstests erfassen Maximalverhalten: richtige und falsche Antworten, meist begrenzte Zeit – Intelligenz-, Konzentrations-, Schul- und Entwicklungstests. Sie zerfallen in Speed-Tests (viele leichte Aufgaben unter starkem Zeitdruck) und Power-Tests (ansteigende Schwierigkeit, großzügige Zeit). Persönlichkeitstests erfassen typisches Verhalten – Gewohnheiten, Einstellungen, Interessen, Beschwerden – und kennen keine richtigen Antworten.
Nach dem methodischen Zugang trennt man psychometrische Verfahren (standardisiert, normiert, in den Gütekriterien geprüft) von projektiven Verfahren, die mehrdeutiges Material vorlegen – Tintenkleckse, Bilder, Satzanfänge – und unterstellen, die Person lege eigene Motive hinein. Deren Schwäche ist die Auswertungs- und Interpretationsobjektivität: Ohne festes Regelwerk hängt das Ergebnis stark vom Auswerter ab, entsprechend gering fallen Reliabilität und Validität aus. Objektive Persönlichkeitstests nach Cattell sind dagegen kaum verfälschbar, weil ihre Messintention nicht durchschaubar ist – „objektiv“ meint hier Unverfälschbarkeit, nicht das Gütekriterium.
Welche Rechenoperationen erlaubt sind, hängt vom Skalenniveau ab.
Daraus folgt ein regelmäßig geprüfter Fehler: Ein IQ von 130 ist nicht doppelt so hoch ausgeprägt wie ein IQ von 65 – dem IQ fehlt der absolute Nullpunkt. Weil z-, T- und IQ-Werte positiv lineare Transformationen des Rohwerts sind, bleibt deren Intervallniveau erhalten. Prozentränge entstehen dagegen durch eine nichtlineare Flächentransformation und sind nur ordinalskaliert: Zehn Prozentrangpunkte bedeuten in der Verteilungsmitte einen viel kleineren Merkmalsunterschied als am Rand.
Objektivität ist die Unabhängigkeit des Ergebnisses von der durchführenden Person. Durchführungsobjektivität: Das Ergebnis hängt nicht davon ab, wer den Test vorgibt – standardisierte Instruktionen, feste Zeitvorgaben. Auswertungsobjektivität: Zwei Auswerter gewinnen aus denselben Antworten denselben Testwert; hoch bei gebundenen Formaten, niedrig bei freien Antworten und projektivem Material. Interpretationsobjektivität: Aus demselben Testwert folgen dieselben Schlüsse – dafür braucht es Normtabellen und explizite Regeln. Objektivität ist Voraussetzung für Reliabilität, denn was vom Testleiter abhängt, geht als Fehlervarianz in die Messung ein.
Reliabilität ist die Messgenauigkeit: der Anteil der beobachteten Varianz, der auf wahre Merkmalsunterschiede zurückgeht. Sie sagt nichts darüber, was gemessen wird.
Ein hohes Alpha belegt keine Eindimensionalität: Bei genügend vielen Items erreicht auch ein mehrdimensionaler Fragebogen über .90 – das ist eine Frage der Faktorenstruktur. Als Orientierung gelten .70 als akzeptabel, .80 als gut, für Entscheidungen über einzelne Personen .90 und mehr. Bei Speed-Tests liefern Halbierungs- und Konsistenzmethoden überhöhte Werte, weil vor allem zählt, wie weit jemand in der Zeit kommt; hier sind Retest oder Paralleltest vorzuziehen.
Validität ist die Frage, ob ein Test misst, was er zu messen vorgibt. Die Inhaltsvalidität fragt, ob die Items den Merkmalsbereich repräsentativ abbilden; sie wird nicht berechnet, sondern durch Expertenurteil begründet, etwa über eine Anforderungsanalyse. Nicht damit zu verwechseln ist die Augenscheinvalidität, der Laieneindruck von Plausibilität: akzeptanzfördernd, aber kein Validitätsargument.
Die Kriteriumsvalidität prüft den Zusammenhang mit einem Außenkriterium: gleichzeitig erhoben heißt Übereinstimmungsvalidität, in der Zukunft liegend – Studien-, Berufserfolg, Rückfall – prognostische Validität. Die inkrementelle Validität ist der zusätzliche Vorhersagebeitrag über bereits vorhandene Prädiktoren hinaus.
Die Konstruktvalidität fragt, ob der Test das theoretische Konstrukt erfasst, und stützt sich auf ein Netz von Belegen: konvergent hohe Korrelationen mit Verfahren desselben oder eines verwandten Konstrukts, diskriminant niedrige Korrelationen mit Verfahren, die etwas anderes messen, faktoriell die Übereinstimmung von empirischer und theoretisch erwarteter Faktorenstruktur.
Hier wird in Klausuren am häufigsten falsch geantwortet: Reliabilität ist notwendig, aber nicht hinreichend für Validität. Ein Maßband misst den Kopfumfang äußerst zuverlässig – als Intelligenztest wäre es wertlos. Umgekehrt begrenzt geringe Reliabilität die erreichbare Validität, denn der Validitätskoeffizient kann höchstens die Wurzel aus der Reliabilität erreichen: bei .64 also √.64 = .80. Zugleich kann eine hohe Reliabilität die Validität senken – das Reliabilitäts-Validitäts-Dilemma: Sehr ähnliche Items treiben die interne Konsistenz nach oben, verengen aber den erfassten Merkmalsbereich.
Geprüft werden außerdem Normierung (Bezugswerte einer repräsentativen und aktuellen Stichprobe; Normen veralten – unter anderem durch den Flynn-Effekt – und sollten in der Regel nicht älter als etwa acht Jahre sein), Ökonomie (geringer Zeit-, Material- und Auswertungsaufwand, Gruppentestbarkeit), Nützlichkeit (praktischer Bedarf, kein gleichwertiges Verfahren verfügbar), Zumutbarkeit (vertretbare zeitliche, psychische und körperliche Beanspruchung) und Fairness; häufig wird die Unverfälschbarkeit ergänzt. Fair ist ein Test, wenn aus ethnischer, soziokultureller oder geschlechtsbezogener Gruppenzugehörigkeit keine systematische Benachteiligung folgt. Ein bloßer Mittelwertunterschied zwischen Gruppen belegt noch keine Unfairness – unfair ist ein Test erst, wenn er das Kriterium für eine Gruppe verzerrt vorhersagt oder wenn Items für Personen gleicher Merkmalsausprägung unterschiedlich schwer sind.
Die klassische Testtheorie (KTT) ist im Kern eine Messfehlertheorie. Ihre Grundgleichung lautet X = T + E: Jeder beobachtete Wert setzt sich aus wahrem Wert und Messfehler zusammen. Die Axiome: Der wahre Wert ist der Erwartungswert der beobachteten Werte bei unendlich häufiger Messwiederholung; der Erwartungswert der Messfehler ist null, Fehler sind also zufällig und nicht systematisch; Messfehler und wahrer Wert einer Messung korrelieren nicht; Messfehler verschiedener Messungen korrelieren weder untereinander noch mit den wahren Werten anderer Messungen.
Daraus folgt die Varianzzerlegung: beobachtete Varianz = wahre Varianz + Fehlervarianz. Die Reliabilität ist genau der Anteil der wahren an der beobachteten Varianz – bei .85 gehen 85 Prozent der Testwertvarianz auf echte Merkmalsunterschiede zurück, 15 Prozent auf Messfehler. Kritisch ist die Stichprobenabhängigkeit: Schwierigkeit, Trennschärfe und Reliabilität sind keine Eigenschaften des Tests allein. In einer homogenen Gruppe fällt die wahre Varianz klein aus und die Reliabilität sinkt, obwohl der Test derselbe ist. Die probabilistische Testtheorie (Item-Response-Theorie, etwa das Rasch-Modell) schätzt Personen- und Itemparameter dagegen stichprobenunabhängig und macht die Modellgeltung prüfbar.
Der Schwierigkeitsindex ist der Anteil der Personen, die ein Item richtig lösen, meist als Prozentwert: Lösen 200 von 250 Personen ein Item, beträgt er 80. Die Bezeichnung führt in die Irre – ein hoher Wert steht für ein leichtes Item. Werte nahe 0 oder 100 differenzieren kaum, weil fast alle dieselbe Antwort geben; die Itemvarianz ist bei einem Index um 50 maximal. Empfohlen werden breit gestreute Schwierigkeiten von etwa 20 bis 80.
Die Trennschärfe ist die Korrelation zwischen Item und Gesamttestwert und liegt zwischen −1 und +1. Ab etwa .30 gilt ein Item als brauchbar, .40 bis .70 als gut. Eine negative Trennschärfe ist ein Warnsignal: meist ein nicht zurückgepoltes Item oder eines, das etwas anderes misst als der Rest. Ohne Part-Whole-Korrektur – das Item wird aus dem Gesamtwert herausgerechnet – korreliert es teilweise mit sich selbst, und die Trennschärfe wird überschätzt, bei kurzen Tests erheblich.
Ein Rohwert ist für sich genommen bedeutungslos; erst der Vergleich mit einer Normstichprobe macht ihn interpretierbar. Grundlage ist die z-Transformation: z = (Rohwert − Mittelwert) / Standardabweichung, mit Mittelwert 0 und Standardabweichung 1. Weil negative Werte unpraktisch sind, wird linear weitertransformiert – meist in den IQ-Wert (Mittelwert 100, Standardabweichung 15) oder den T-Wert (Mittelwert 50, Standardabweichung 10): IQ = 100 + 15 · z, T = 50 + 10 · z. Beispiel: In einem Test mit Mittelwert 34 und Standardabweichung 8 erreicht jemand 46 Punkte. Dann ist z = (46 − 34) / 8 = 1,5, der T-Wert 50 + 10 · 1,5 = 65 und der IQ-Wert 100 + 15 · 1,5 = 122,5. Der Prozentrang – der Anteil der Normstichprobe mit gleichem oder niedrigerem Wert – liegt bei z = 1,5 und Normalverteilung bei rund 93.
Der Standardmessfehler gibt an, wie stark ein beobachteter Wert um den wahren streut: Standardabweichung · √(1 − Reliabilität). Für einen IQ-Test mit Standardabweichung 15 und Reliabilität .91 sind das 15 · √0,09 = 15 · 0,3 = 4,5. Ein gemessener IQ von 112 liegt damit im 95-Prozent-Konfidenzintervall zwischen etwa 103 und 121, denn 1,96 · 4,5 ≈ 8,8. Deshalb werden Testergebnisse als Bereich berichtet – ein Abstand von wenigen IQ-Punkten ist diagnostisch nicht belastbar.
Frage antippen, um die Antwort aufzudecken.
Als das systematische Erheben und Aufbereiten von Informationen über Personen, Gruppen oder Situationen mit dem Ziel, Entscheidungen zu begründen, zu kontrollieren und zu optimieren.
Beschreibung (wie ausgeprägt ist ein Merkmal?), Klassifikation (Zuordnung zu einer definierten Kategorie), Erklärung (welche Bedingungen halten ein Verhalten aufrecht?), Vorhersage (prognostische Aussage) und Evaluation (Messung von Veränderung im Verlauf einer Maßnahme).
Psychometrische Verfahren sind standardisiert, normiert und in ihren Gütekriterien empirisch geprüft; Durchführung, Auswertung und Interpretation folgen festen Regeln. Projektive Verfahren legen mehrdeutiges Material vor (Tintenkleckse, Bilder, Satzanfänge) und unterstellen, dass die Person eigene Motive hineinlegt.
Ein Verfahren, dessen Messintention für die getestete Person nicht durchschaubar ist und das deshalb kaum verfälscht werden kann. Objektiv meint hier Unverfälschbarkeit, nicht das Gütekriterium Objektivität (Unabhängigkeit vom Testleiter, Auswerter und Interpreten).
Nominalskala: Kategorien ohne Rangordnung (Diagnosegruppe). Ordinalskala: Rangordnung ohne interpretierbare Abstände (Schulnoten). Intervallskala: gleiche Abstände, kein absoluter Nullpunkt (Temperatur in Grad Celsius, IQ). Verhältnisskala: zusätzlich absoluter Nullpunkt (Reaktionszeit in Millisekunden). Verhältnisaussagen setzen einen absoluten Nullpunkt voraus; der IQ ist nur intervallskaliert, ein Wert von 0 bedeutet nicht das Fehlen von Intelligenz.
Reliabilität ist die Messgenauigkeit: der Anteil der beobachteten Testwertvarianz, der auf wahre Merkmalsunterschiede zurückgeht. Bei .85 gehen 85 Prozent der Varianz auf echte Merkmalsunterschiede zurück und 15 Prozent auf Messfehler. Über den Inhalt der Messung sagt der Wert nichts aus.
Derselbe Test wird denselben Personen nach einem zeitlichen Abstand erneut vorgegeben; die Korrelation beider Messungen ist der Kennwert. Grenzen: Übungs- und Erinnerungseffekte verfälschen den Wert nach oben, echte Merkmalsveränderungen nach unten. Für Zustandsmerkmale ist die Methode deshalb ungeeignet.
Weil die Korrelation der beiden Hälften sich nur auf einen halben Test bezieht und die Reliabilität des Gesamttests dadurch unterschätzt. Die Formel rechnet auf volle Testlänge hoch: r(tt) = 2 · r(hh) / (1 + r(hh)) = 2 · 0,60 / 1,60 = 1,20 / 1,60 = .75.
Speed-Tests bestehen aus vielen leichten Aufgaben unter starkem Zeitdruck, Power-Tests aus Aufgaben ansteigender Schwierigkeit bei großzügiger Zeit. Bei Speed-Tests bestimmt vor allem, wie weit jemand gekommen ist; bearbeitete Items werden fast immer richtig gelöst. Halbierungs- und Konsistenzmethoden liefern dadurch überhöhte Werte. Vorzuziehen sind Retest- oder Paralleltest-Reliabilität.
Beide sind Belege der Konstruktvalidität. Konvergent: hohe Korrelationen mit Verfahren, die dasselbe oder ein verwandtes Konstrukt messen. Diskriminant: niedrige Korrelationen mit Verfahren, die etwas anderes messen. Ein Angstfragebogen, der mit einem Depressivitätsmaß ebenso hoch korreliert wie mit anderen Angstmaßen, hat ein Problem mit der diskriminanten Validität.
Der zusätzliche Vorhersagebeitrag eines Verfahrens über bereits vorhandene Prädiktoren hinaus. Ein Test kann hoch mit dem Kriterium korrelieren und trotzdem inkrementell wertlos sein, wenn er nur dasselbe erfasst wie ein schon eingesetztes Verfahren.
Fair ist ein Test, wenn aus der Zugehörigkeit zu einer ethnischen, soziokulturellen oder geschlechtsbezogenen Gruppe keine systematische Benachteiligung folgt. Ein bloßer Mittelwertunterschied belegt noch keine Unfairness – er kann einen realen Unterschied abbilden. Unfair ist ein Test, wenn er das Kriterium für eine Gruppe systematisch schlechter oder verzerrt vorhersagt oder wenn Items für Personen gleicher Merkmalsausprägung unterschiedlich schwer sind.
X = T + E: Jeder beobachtete Wert setzt sich aus wahrem Wert und Messfehler zusammen. Axiome: (1) Der wahre Wert ist der Erwartungswert der beobachteten Werte bei unendlich häufiger Messwiederholung. (2) Der Erwartungswert der Messfehler ist null. (3) Messfehler und wahrer Wert einer Messung korrelieren nicht. (4) Messfehler verschiedener Messungen korrelieren weder untereinander noch mit den wahren Werten anderer Messungen.
Der Schwierigkeitsindex ist der Anteil der Personen, die das Item richtig lösen, meist als Prozentwert: 200 / 250 = 0,80, also ein Index von 80. Die Bezeichnung führt in die Irre – ein hoher Wert steht für ein leichtes Item. Werte nahe 0 oder 100 differenzieren kaum; die Itemvarianz ist bei einem Index um 50 maximal, empfohlen wird eine breite Streuung im Bereich von etwa 20 bis 80.
Die Trennschärfe ist die Korrelation zwischen Item und Gesamttestwert und liegt zwischen −1 und +1. Ab etwa .30 gilt ein Item als brauchbar, .40 bis .70 als gut. Eine negative Trennschärfe deutet auf ein nicht zurückgepoltes Item oder auf ein Item hin, das etwas anderes misst. Ohne Part-Whole-Korrektur korreliert das Item teilweise mit sich selbst, wodurch die Trennschärfe überschätzt wird – bei kurzen Tests erheblich.
z = (Rohwert − Mittelwert) / Standardabweichung, mit Mittelwert 0 und Standardabweichung 1. IQ = 100 + 15 · z (Mittelwert 100, Standardabweichung 15). T = 50 + 10 · z (Mittelwert 50, Standardabweichung 10). Beide sind positiv lineare Transformationen, das Intervallniveau bleibt erhalten.
z = (46 − 34) / 8 = 12 / 8 = 1,5. T = 50 + 10 · 1,5 = 65. IQ = 100 + 15 · 1,5 = 122,5. Bei normalverteilten Werten liegt der Prozentrang zu z = 1,5 bei rund 93 – etwa 93 Prozent der Normstichprobe erreichen denselben oder einen niedrigeren Wert.
Standardmessfehler = Standardabweichung · √(1 − Reliabilität) = 15 · √(1 − 0,91) = 15 · √0,09 = 15 · 0,3 = 4,5. Ein gemessener IQ von 112 liegt damit im 95-Prozent-Konfidenzintervall zwischen etwa 103 und 121, denn 1,96 · 4,5 ≈ 8,8. Deshalb werden Testergebnisse als Bereich berichtet, nicht als Punktwert.
Lösung:
Verletzt ist die Auswertungsobjektivität: Zwei Auswerter gewinnen aus denselben Antworten unterschiedliche Testwerte, obwohl das Ergebnis unabhängig vom Auswerter sein müsste.
Objektivität hat drei Facetten. Die Durchführungsobjektivität betrifft die Testsituation und ist hier nicht berührt, weil die Vorgabe identisch war. Die Interpretationsobjektivität würde erst greifen, wenn beide denselben Punktwert unterschiedlich deuten. Freie Antwortformate sind der klassische Fall geringer Auswertungsobjektivität; Abhilfe schaffen eindeutige Auswertungsregeln oder gebundene Formate. Weil mangelnde Objektivität als Fehlervarianz in die Messung eingeht, sinkt in der Folge auch die Reliabilität.
Lösung:
z = (32 − 50) / 12 = −18 / 12 = −1,5. Daraus folgt T = 50 + 10 · (−1,5) = 35.
Der Rohwert wird zunächst z-transformiert: z = (Rohwert − Mittelwert) / Standardabweichung. Hier ergibt das −1,5, der Proband liegt also anderthalb Standardabweichungen unter dem Durchschnitt. Die T-Skala hat den Mittelwert 50 und die Standardabweichung 10, also T = 50 + 10 · z = 35. Auf der IQ-Skala wären es 100 + 15 · (−1,5) = 77,5, der zugehörige Prozentrang läge bei rund 7. Wer die 32 direkt als T-Wert übernimmt, verwechselt Rohwert und Normwert – der Rohwertmittelwert von 50 ist hier reiner Zufall der Aufgabenstellung.
Lösung:
Zutreffend sind die Aussagen zum Intervallniveau der z-, T- und IQ-Werte, zum Ordinalniveau der Prozentränge und zu den bei Ordinaldaten zulässigen Kennwerten.
Verhältnisaussagen wie doppelt so hoch setzen einen absoluten Nullpunkt und damit Verhältnisskalenniveau voraus. Der IQ hat keinen absoluten Nullpunkt, die Aussage über 120 und 60 ist deshalb unzulässig. Der Median setzt eine Rangordnung voraus, die bei Nominaldaten fehlt; dort ist der Modus der einzige sinnvolle Lagekennwert. Prozentränge sind zwar aus intervallskalierten Werten abgeleitet, ihre Abstände sind aber nicht gleich groß: Zehn Prozentrangpunkte bedeuten in der Mitte der Verteilung einen deutlich kleineren Merkmalsunterschied als am Rand.
Lösung:
Reliabilität ist die Messgenauigkeit, also der Anteil wahrer Varianz an der beobachteten Varianz. Validität ist die Frage, ob der Test das misst, was er zu messen vorgibt. Reliabilität ist notwendig für Validität: Was ungenau gemessen wird, kann auch inhaltlich nicht treffen. Formal gilt, dass der Validitätskoeffizient höchstens die Wurzel aus der Reliabilität erreicht – bei einer Reliabilität von .64 also maximal .80. Hinreichend ist Reliabilität dagegen nicht: Ein Maßband misst den Kopfumfang mit hoher Genauigkeit und wäre als Intelligenztest trotzdem wertlos, weil es das falsche Merkmal erfasst. Umgekehrt kann eine sehr hohe interne Konsistenz die Validität sogar senken. Wer nur nahezu gleiche Items aufnimmt, treibt das Alpha nach oben, verengt aber den erfassten Merkmalsbereich; für die Vorhersage breiter Kriterien wie Berufserfolg ist ein inhaltlich breiterer Test oft der bessere Prädiktor. Dieses Spannungsverhältnis heißt Reliabilitäts-Validitäts-Dilemma.
Eine vollständige Antwort nennt (1) beide Definitionen, (2) die Richtung der Abhängigkeit samt der Obergrenze über die Wurzel der Reliabilität, (3) ein Beispiel für zuverlässiges Messen des falschen Merkmals und (4) idealerweise das Reliabilitäts-Validitäts-Dilemma. Häufiger Fehler ist die Umkehrung: Validität setzt Reliabilität voraus, nicht umgekehrt. Ein valider Test ist automatisch auch reliabel, ein reliabler Test aber nicht automatisch valide.
Lösung:
Angemessen sind Retest- oder Paralleltest-Reliabilität. Es handelt sich um einen Speed-Test, bei dem Halbierungs- und Konsistenzmethoden systematisch zu hohe Werte ergeben.
In einem reinen Speed-Test entscheidet fast nur, wie weit jemand in der Zeit kommt; bearbeitete Items werden nahezu immer richtig gelöst, nicht bearbeitete zählen als falsch. Dadurch sind die Antwortmuster künstlich hoch konsistent, und Split-Half wie Cronbachs Alpha überschätzen die Messgenauigkeit deutlich. Die Teilung in erste und zweite Hälfte ist besonders problematisch, weil die zweite Hälfte von fast niemandem erreicht wird. Die Korrelation mit einem Außenkriterium ist keine Reliabilitäts-, sondern eine Validitätsschätzung.
Lösung:
Zulässig sind die Schlüsse auf hohe interne Konsistenz, auf den Einfluss der Itemzahl und auf eine für Individualdiagnostik ausreichende Messgenauigkeit. Nicht zulässig sind Schlüsse auf Eindimensionalität oder auf Validität.
Alpha steigt sowohl mit der mittleren Interkorrelation der Items als auch mit deren Anzahl. Bei 60 Items erreicht deshalb auch ein mehrdimensionaler Fragebogen problemlos Werte über .90 – Eindimensionalität ist eine Frage der Faktorenstruktur und muss faktorenanalytisch geprüft werden. Ebenso wenig sagt Alpha etwas darüber aus, welches Konstrukt erfasst wird; das ist Gegenstand der Konstruktvalidierung über konvergente und diskriminante Belege. Richtig ist dagegen die Faustregel, dass für Entscheidungen über einzelne Personen Reliabilitäten ab etwa .90 gefordert werden.
Lösung:
368 / 400 = 0,92, der Schwierigkeitsindex beträgt also 92. Ein so hoher Wert bedeutet ein sehr leichtes Item, das kaum zwischen Personen unterscheidet.
Der Schwierigkeitsindex ist der prozentuale Anteil richtiger Lösungen. Trotz seines Namens steht ein hoher Wert für ein leichtes Item. Weil fast alle dasselbe antworten, ist die Itemvarianz gering und das Item trägt kaum zur Differenzierung bei; maximal ist die Varianz bei einem Index um 50. Für die Testkonstruktion werden breit gestreute Schwierigkeiten im Bereich von etwa 20 bis 80 empfohlen. Extrem leichte oder schwere Items behält man nur gezielt, um die Randbereiche des Merkmals abzudecken. Die Trennschärfe ist eine davon unabhängige Kennzahl, nämlich die Korrelation des Items mit dem Gesamttestwert.
Lösung:
Standardmessfehler = 10 · √(1 − 0,84) = 10 · √0,16 = 10 · 0,4 = 4. Das Intervall von rund 68 Prozent umfasst einen Standardmessfehler nach oben und unten, also 62 ± 4 und damit 58 bis 66.
Der Standardmessfehler ergibt sich aus Standardabweichung mal Wurzel aus eins minus Reliabilität. Bei einer Reliabilität von .84 sind 16 Prozent der Varianz Fehlervarianz, die Wurzel daraus ist 0,4, multipliziert mit der Streuung 10 ergibt das 4. Ein Intervall von einem Standardmessfehler nach oben und unten deckt rund 68 Prozent ab, für 95 Prozent wäre mit 1,96 zu multiplizieren, also 62 ± 7,8. Praktische Konsequenz: T-Werte von 62 und 66 sind nicht sinnvoll voneinander zu unterscheiden, und Ergebnisse werden als Bereich berichtet.
Lösung:
Belege sind die hohe Korrelation mit einem etablierten Prüfungsangstverfahren (konvergent), die niedrige Korrelation mit einem inhaltlich fremden Test (diskriminant) und die bestätigte Faktorenstruktur (faktoriell).
Konstruktvalidität wird über ein Netz von Belegen begründet: konvergent über hohe Korrelationen mit Verfahren desselben oder eines verwandten Konstrukts, diskriminant über niedrige Korrelationen mit inhaltlich fremden Verfahren, faktoriell über die Übereinstimmung von empirischer und theoretischer Struktur. Die Plausibilitätsbewertung durch Studierende ist Augenscheinvalidität – sie erhöht die Akzeptanz, ist aber kein Validitätsnachweis und darf nicht mit der expertengestützten Inhaltsvalidität verwechselt werden. Kurze Bearbeitungszeit und Gruppentestbarkeit betreffen das Nebengütekriterium Ökonomie.
Lösung:
Sinnvoll ist die Prüfung entlang der Abhängigkeitskette. Zuerst die Objektivität: Liegen standardisierte Instruktionen, eindeutige Auswertungsregeln und explizite Interpretationsvorgaben vor? Ohne sie geht jede Abweichung als Fehlervarianz in die Messung ein. Danach die Reliabilität mit einer zum Testtyp passenden Methode – bei einem Power-Test etwa interne Konsistenz oder Paralleltest, bei einem Speed-Test Retest oder Paralleltest. Für Entscheidungen über einzelne Bewerber sind Werte ab etwa .90 zu fordern. Anschließend die Validität, hier vor allem die prognostische Kriteriumsvalidität gegenüber späterem Berufserfolg, ergänzt um die inkrementelle Validität gegenüber den bereits eingesetzten Verfahren wie Interview oder Arbeitsprobe. Besonders kritisch sind zwei Punkte. Erstens die Normierung: Die Normen stammen aus einer anderen Population und sind für deutsche Bewerber möglicherweise nicht gültig; zusätzlich veralten Normen und sollten in der Regel nicht älter als etwa acht Jahre sein. Zweitens die Fairness: Sprachlastige Items können Bewerber mit anderer Erstsprache systematisch benachteiligen. Zu prüfen ist deshalb, ob der Test den Berufserfolg für alle Gruppen gleich gut vorhersagt, denn ein bloßer Mittelwertunterschied zwischen Gruppen belegt für sich genommen noch keine Unfairness. Hinzu kommen Ökonomie, Zumutbarkeit und Nützlichkeit im Vergleich zu bestehenden Verfahren.
Eine vollständige Antwort nennt (1) die Reihenfolge Objektivität, Reliabilität, Validität mit Begründung der Abhängigkeit, (2) je eine zum Testtyp passende Reliabilitätsmethode und die höhere Anforderung bei Individualentscheidungen, (3) prognostische Kriteriumsvalidität und inkrementelle Validität als die hier relevanten Validitätsaspekte sowie (4) Normierung und Fairness als die kritischen Nebengütekriterien beim Import eines Verfahrens. Wer nur Definitionen aufzählt, ohne den Bezug zum geschilderten Fall herzustellen, bleibt unter der vollen Punktzahl.
Alles auf dieser Seite kannst du kostenfrei in deinen Learnboost Account übernehmen — und dort deutlich mehr daraus machen:
Bessere Noten beginnen bei Learnboost.
Erstellt von Learnboost-Redaktion. KI-gestützt erstelltes Originalwerk, redaktionell geprüft.
Inhalte melden: content@learnboost.tech
