Workshop 3: Computerbasierte Item- und Testentwicklung

Workshop:Computerbasierte Item- und Testentwicklung mit dem CBA ItemBuilder
Dozierende*r:Dr. Ulf Kröhne (DIPF Frankfurt)
Termin:Dienstag, 01.06.2021, 09:00-12:00 Uhr (Teil 1: Einführung in die Erstellung von Computerbasierten Erhebungen)

Dienstag, 01.06.2021, 13:00-18:00 Uhr (Teil 2: Mehr Dynamik! Dynamische Komponenten in CBA ItemBuilder Items umsetzen)

Freitag, 04.06.2021, 09:00-12:00 Uhr (optionaler Teil 3: Vertiefende Fragen zur Umsetzung konkreter Aufgabenformate, zu Log-Daten und zur Integration externer Komponenten)

Abstract

Die Forcierung der Digitalisierung des letzten Jahres führt zu einem gestiegenen Bedarf computerbasierter, ggf. online-administrierter Assessments. Während sich einfache Befragungen mit Standardwerkzeugen wie LimeSurvey umsetzen lassen, ist die Wahl eines Tools für die Computerisierung von Testaufgaben schwieriger.[1] Für komplexe interaktive Aufgaben wird das Autorenwerkzeug CBA ItemBuilder vorgestellt, mit dessen Hilfe computerbasierte Aufgaben ohne Programmierkenntnisse erstellt werden können. Vollständige Tests mit Instruktionen, Übungsphasen und Aufgaben werden dabei aus einzelnen Seiten zusammengesetzt, auf denen in einem graphischen Editor Elemente wie Text, Bilder und Felder zur Antwortabgabe platziert und verlinkt werden können.

Der seit 2008 kontinuierlich weiterentwickelte CBA ItemBuilder wird verwendet um die Test­bestandteile zu computerisieren, welche dann von einer Auslieferungssoftware entweder offline (z.B. von USB-Stick) oder online (im Browser) verwendet werden können. Aufgaben, Scoring-Definition und die Speicherung von Ergebnis- sowie Log-Daten ist für die unterschiedlichen Auslieferungsformen identisch, sodass Erhebungen auch mixed mode geplant werden können.

Sollen Aufgaben- oder Seiteninhalte in Abhängigkeit von Verhalten innerhalb des Assessments (z.B. der gewählten Antworten) anders dargestellt werden oder anders funktionieren, dann werden die dynamischen Teile des CBA ItemBuilder verwendet, die über eine interne Logikschicht gesteuert werden können. Hierdurch lässt sich beispielsweise Feedback zu bereits beantworteten Aufgaben, Feedback zur Richtigkeit von Aufgaben, Ein- und Ausblenden von Instruktion usw. erstellen.

Mit den im CBA ItemBuilder bereitgestellten Komponenten lässt sich eine Vielzahl einfacher und komplexer, simulationsbasierter Itemformate realisieren, die aus der Kombination mehrerer Seiten und der internen Logikschicht bestehen. Zu einem optionalen Termin ist es deshalb vorgesehen, Fragen zur Umsetzung eigener Aufgabenformate und Aufgabenideen zu besprechen. Dort werden auch Möglichkeiten der Erweiterung von Items für bisher noch nicht vom CBA ItemBuilder direkt unterstütze Interaktionsformen vorgestellt und ein Ausblick auf die Analyse von Log-Daten und die Erstellung von Prozessindikatoren gegeben.

[1] Einzelne interaktive Elemente lassen sich mit H5P computerisieren und in Lernmanagement­systeme integrieren. Tests mit Aufgaben, welche den QTI Aufgabenformaten folgen, können mit der TAO Software administriert werden.

Ziele

  • Eigene Aufgaben im CBA ItemBuilder computerisieren (Teil 1).
  • Aufgaben mit dynamischen Teilen ergänzen (Teil 2).
  • Grenzen und Potential des CBA ItemBuilder für Aufgabenformate vertiefen (Optional).

Zielgruppe

Der Workshop richtete sich an Fortgeschrittene Studierende, Doktorandinnen und Doktoranden sowie Wissenschaftlerinnen und Wissenschaftler, die für konkrete computerbasierte Assessments eine Softwareplattform suchen oder die Möglichkeiten computerbasierten Assessments (allgemein) kennenlernen wollen.

Software

Der CBA ItemBuilder wurde im Rahmen des Workshops zur Verfügung gestellt. Nur Nutzung des CBA ItemBuilder ist ein Windows Computer (64 Bit Betriebssystem, z.B. Windows 10) oder eine Virtuelle Maschine (Virtual Box, VMware, Parallels o.ä.) notwendig. Die mit dem CBA ItemBuilder erstellten Inhalte können auf allen Plattformen verwendet werden und benötigen lediglich einen HTML5-tauglichen Browser (z.B. Firefox, Chrome, Edge).