Strategien bei der Interpretation von formativen Verlaufsdaten*

 

Abstract

Die Lernverlaufsdiagnostik (LVD) ist ein formatives Verfahren für verschiedene Lernbereiche (z.B. Lesen; Bennett, 2011) und kann insbesondere den inklusiven Unterricht wirksam unterstützen (Anderson et al., 2020). Rückmeldungen werden anhand von kurzen Tests zur Lernentwicklungen von SchülerInnen mit und ohne sonderpädagogischen Förderbedarf gegeben, um eine individuelle Gestaltung des Unterrichts zu realisieren. LVD-Tests werden für eine zeitökonomische und hochfrequente (z.B. wöchentlich oder monatlich) Durchführung während des Unterrichts konstruiert und können nach psychometrischen Gütekriterien geprüft werden (Good & Jefferson, 1998). Die Testergebnisse werden oft mittels Lernverlaufsgraphen interpretiert und als Basis für eine datengestützte Unterrichtsplanung genutzt (Jungjohann et al., 2018). Zeuch et al. (2017) beschreiben bei der Interpretation der Ergebnisse drei Interpretationsebenen: (1) Wahrnehmen relevanter Datenpunkte und Trends, (2) Erkennen von Beziehungen zwischen den Entwicklungen von Teilkompetenzen und (3) Ableiten von Annahmen über weitere Fortschritte, mögliche Defizite und adäquate Unterrichtsstrategien. Bisher gibt es wenig Forschung zu Interpretationsstrategien und -schwierigkeiten. Bekannt ist, dass das Vorwissen der Lehrkraft, visuelle Hilfen (z. B. lineare Trendlinie, Ziellinie) oder die Eigenschaften der Lernverläufe die Interpretation verzerren können (Glazer, 2011, Klapproth, 2018, Newell & Christ, 2017). Beispielsweise führen Extremwerte, eine hohe Variabilität in den Daten und eine geringe Steigung des Graphens zu einer zu übermäßig positiven Vorhersage der Lernverlaufs.

In dem Vortrag wird eine online Fragebogenstudie zu Interpretationsstrategien bei LVD-Graphen mit Studierenden aller Lehrämter vorgestellt. Es gibt 3 leitende Forschungsfragen (FF): (1) Welche Strategien nutzen Lehramtsstudierenden am häufigsten bei der Interpretation von standardisierten Lernverlaufsgraphen?, (2) Bestimmt die Person oder ein bestimmtes Merkmal des Graphens die Interpretationsstrategie? und (3) Gibt es Unterschiede in der Vorhersage der Lernentwicklungen zwischen sonderpädagogischen und regulären Lehramtsstudierenden?

Es nahmen N = 352 Studierende teil. Nach der Datenbereinigung wurden N = 219 Datensätze eingeschlossen. Die meisten ProbandInnen waren weiblich (83,6%) und 21 – 24 Jahre alt (61,2%). Der Fragebogen beinhaltete eine formale Erklärung, 13 Fragen zu persönlichen Merkmalen, 4 Fragen zum Vorwissen, 1 Aufgabenbeispiel und 6 manipulierte Lernverlaufsgraphen. Die ProbandInnen wurden gebeten, den Lernzuwachs für zwei Wochen vorherzusagen. Zusätzlich wurden die genutzte Interpretationsstrategie (Wie haben Sie den Lernzuwachs vorhergesagt?) und die betrachteten Daten (Welche Daten haben Sie für Ihre Vorhersage verwendet?) erfragt. Alle Fragen wurden in einem geschlossenen Format präsentiert. Die LVD-Graphen wurden in Anlehnung an das Studienmaterial von Klapproth (2018) konstruiert und manipuliert. Die x-Achse stellte 14 Schulwochen als Zeitstrahl dar. Auf der y-Achse wurde die Anzahl der korrekt gelesenen Wörter pro Minute (WRC) eingetragen. Die ersten 11 Datenpunkte wurden in 3 Diagrammabschnitte aufgeteilt: die Baseline, die erste Interventionsphase 1 und die zweite Interventionsphase 2. In jedem Graph wurde die Basislinie der Peers, das theoretische Maximum und eine Trendlinie pro Diagrammabschnitt eingezeichnet. Allen 6 Graphen lag die folgende lineare Funktion zugrunde: WRC = bx + a, wobei b die Steigung, x die Schulwoche und a den Intercept darstellt. Die Graphen wurden in 2 Merkmalen manipuliert. Erstens unterscheiden sich die Graphen durch eine niedrige, mittlere und hohe Steigungsrate (d.h. b oder 1,3*b oder 3,4*b). Zweitens waren die Variationen der Datenpunkte entweder niedrig oder hoch (d. h., b oder 2*b). Alle experimentellen Datenpunkte wurden nach realen Fortschrittsüberwachungsdaten von deutschen Zweitklässlern im Lesen berechnet (Anderson et al., 2020).

Die Ergebnisse der FF1 zeigen, dass am häufigsten gemeinsam die Basislinie und beide Interventionen (40,1%), die erste und die zweite Intervention (32,3%) oder nur die zweite Intervention (23,7%) betrachtet wurden. Hinsichtlich der Strategien werden am häufigsten das Steigungsmuster extrapoliert (40,5%) oder die Trendlinien verwendet (33,1%). Für die FF2 wurde innerhalb der Rater eine mäßige Übereinstimmung (Fleiss‘ Kappa=.39; p < =.001) in Bezug auf die Verwendung spezifischer Daten in sechs unterschiedlichen Kategorien. In Bezug auf die verwendete Interpretationsstrategie wurde eine geringe Übereinstimmung zwischen sieben möglichen Kategorien innerhalb der Rater beobachtet (Fleiss‘ Kappa=.13; p < =.001). Die Übereinstimmungsgrade unterscheiden sich signifikant zwischen den möglichen Kategorien und reichen von -.003-.455 für die verwendeten Daten und von -.005 – .666 für die Strategien. Zur Beantwortung der FF3 werden die Unterschiede zwischen regulären und sonderpädagogischen Lehramtsanwärterinnen und -anwärtern sowie das Vorwissen über die LVD analysiert.

Die Ergebnisse dienen der Gestaltung der Graphen und der Interpretationsschulung. Sie deuten darauf hin, dass Unterstützungsmaterialien verschiedenen Grundraten- und Interventionsphasen von Einzelfallstudien beinhalten sollten und dass Lehrkräfte intuitiv Lernzuwächse mit und ohne visuelle Unterstützung interpretieren. Die Ergebnisse lassen zudem zu, dass sie als eine stabile Verwendung von Strategien innerhalb der Rater interpretiert werden können.

 

*_{Dieses Poster wurde im Rahmen des digitalen Jahres der Gesellschaft für Empirische Bildungsforschung (digiGEBF21) eingereicht und ist bis zum 31.12.2022 an dieser Stelle verfügbar. Alle Rechte liegen bei den Verfasser*innen.}