Teilnahmeanreize und Testmotivation in einem Low-Stakes-Studierfähigkeitstest*

Videobeitrag der Autor*innen

 

Abstract

Eine verhältnismäßig geringe Testmotivation und hohe Abbruchquoten sind häufige Problemlagen in Low-Stakes-Assessments (Finn, 2015). Dabei können insbesondere fehlendes Interesse sowie eine nicht wahrgenommene Nützlichkeit oder Wichtigkeit einen negativen Effekt auf die Testleistung und die Validität der Fähigkeitsschätzer haben (Cole, Bergin & Whittaker, 2008). Insbesondere in onlinebasierten Low-Stakes-Studierfähigkeitstests mit dem Ziel der frühzeitigen Identifikation von Förderbedarfen in Massenstudiengängen wie den Wirtschaftswissenschaften wäre aber eine möglichst flächendeckende Teilnahme und genaue Fähigkeitsschätzung von großer Bedeutung zur Vermeidung hoher Studienabbruchquoten. Bisher weitgehend unklar ist in diesem Zusammenhang die Frage nach der Wirkung verschiedener Teilnahmeanreize wie etwa unterschiedlicher Teilnahmeansprachen oder der Integration von Gamification-Elementen. Ein Verfahren, das sich zur Überprüfung der Effekte variierender Testdesigns bewährt hat, sind A/B-Tests mit zufälliger Gruppenzuordnung (Kohavi & Longbotham, 2017).

Fragestellungen
Im Zuge der Entwicklung eines onlinebasierten Low-Stakes-Studierfähigkeitstests für den Bereich Wirtschaftswissenschaften werden folgende Fragen untersucht:

(1) Welchen Einfluss hat die Gestaltung der Teilnahmeansprache auf die Teilnahme- und Abbruchquoten in einem Low-Stakes-Studierfähigkeitstest?
(2) Lassen sich mittels der Integration von Gamification-Elementen die Teilnahme- und Abbruchquoten optimieren?
(3) Welchen Einfluss hat die Integration von Gamification-Elementen auf Testmotivation und Testergebnisse der Teilnehmenden?

Im Rahmen einer Pilotstudie wurden ca. 680 Studienanfangende der Studiengänge Wirtschaftswissenschaften und Wirtschaftspädagogik an der Universität Hohenheim unmittelbar nach der Einführungswoche aufgefordert an einem onlinebasierten Low-Stakes-Studierfähigkeitstest von ca. 45 Minuten teilzunehmen. Die Testung wird über die abwechselnde Integration entsprechender Teilnahmelinks als A/B-Test angelegt, bei dem sich die Gruppen zum einen in der Ausführlichkeit der Teilnahmeaufforderung und zudem hinsichtlich unterschiedlicher Testvarianten mit und ohne Gamification unterscheiden. Die Gamification-Elemente bestehen aus graphisch ansprechend aufbereiteten unterhaltsamen und nützlichen Informationen rund um die Universität Hohenheim und das Studium, die nach jedem dritten bis viertem Item eingeblendet werden (bspw. Informationen über Sportangebote, berühmte Hohenheimer Absolventen, studentische Feste, wichtige Daten und Fakten zur Universität oder humoristische Memes zum Studienalltag). Während der Testung werden Logdaten aufgezeichnet (Verweildauer, Lösungszeiten, Überspringen, etc.). Die Testmotivation wird auf Basis der Student Opinion Scale (SOS; Sundre & Thelk, 2007) gegen Ende der Testung erhoben. Mit etwas zeitlichem Abstand zur Testung erhalten die Studierenden per Email ein individualisiertes Feedback, das ihnen modulspezifische Schwächen und Stärken und entsprechende Fördermöglichkeiten aufzeigt.

Es wird angenommen, dass die unterschiedlichen Teilnahmeaufforderungen zu Unterschieden hinsichtlich der Teilnahme- und Abbruchquoten führen. Angesichts der mehrdeutigen Befundlage im Zusammenhang mit der Ausführlichkeit von Teilnahmeansprachen bleibt zu klären, welche Variante sich für die vorliegende Zielgruppe als vorteilhaft erweist. Es ist ferner davon auszugehen, dass die Integration von Gamification-Elementen zu erhöhter Testmotivation führt, da diese durch ihre Unterhaltsamkeit und subjektive Relevanz einen Anreiz bieten können, den Test bis zum Ende gewissenhaft durchzuführen. Offen bleibt indes die Frage, ob sich auch die Testleistung durch die Integration von Gamification-Elementen steigern lässt oder ob diese eher ablenkend wirken. Erste Ergebnisse werden im Vortrag berichtet.

Low-Stakes-Studierfähigkeitstests dienen weniger der universitären Eignungsfeststellung im Rahmen der Auswahl und Zulassung von Studierenden, sondern eher der frühzeitigen Identifikation von fehlenden fachspezifischen Vorkenntnissen und Fertigkeiten sowie der entsprechenden Rückmeldung von Förderbedarfen. Sie bieten als solche wichtige Informationen für die Gestaltung von universitären Förderangeboten und entfalten bildungspolitische Relevanz bei der Verringerung von Studienabbruchquoten, insbesondere in Massenfächern wie den Wirtschaftswissenschaften. Die Freiwilligkeit der Teilnahme führt dabei häufig zu einem Vermeidungsverhalten der Hauptzielgruppe universitärer Förder- und Stützangebote und damit zu einer Gefährdung des eigentlichen Testzwecks. Angesichts des weitgehenden Fehlens von Befunden zur differenziellen Wirkung von Teilnahmeanreizen können die Ergebnisse der vorliegenden Pilotstudie insofern einen Beitrag zur Entwicklung valider Low-Stakes-Studierfähigkeitstests leisten.

 

*_{Dieses Poster wurde im Rahmen des digitalen Jahres der Gesellschaft für Empirische Bildungsforschung (digiGEBF21) eingereicht und ist bis zum 31.12.2022 an dieser Stelle verfügbar. Alle Rechte liegen bei den Verfasser*innen.}