Workshop 11: Planung und Design von experimentellen Replikationsstudien

Workshop:Planung und Design von experimentellen Replikationsstudien
Dozierende*r:Dr.  Frank Renkewitz (Universität Erfurt)
Termin:Dienstag, 22. Juni, 14:00–16:00 Uhr

Abstract

Aus einer wissenschaftstheoretischen Perspektive ist die Bedeutung von Replikationen unstrittig: Replikationen sichern das Vertrauen in Originalbefunde, sie begründen die Möglichkeit zur Selbstkorrektur in den Wissenschaften und sie sind als Mittel der Theorieprüfung unverzichtbar. Angesichts der herausgehobenen Bedeutung von Replikationen könnte man sowohl erwarten, dass grundlegende Fragen zum Konzept der Replikation seit Langem umfassend diskutiert sind, als auch, dass fortlaufend Replikationsstudien durchgeführt und publiziert werden. Beides war – zumindest in den Sozialwissenschaften – bis vor Kurzem nicht der Fall. Dies hat sich erst in jüngster Zeit geändert. Mit wachsendem Bewusstsein für die mangelnde Replizierbarkeit zahlreicher Befunde in verschiedenen Wissenschaftsdisziplinen sind Replikationen zu einem eigenen Forschungsfeld geworden. Inzwischen existiert eine umfangreiche Literatur, die beispielsweise die Definition, die statistische Analyse und die Interpretierbarkeit von Replikationen thematisiert oder Richtlinien für die Durchführung von Replikationsstudien vorschlägt. Zeitgleich haben sich eigene Publikationsformate für Replikationen etabliert und es werden tatsächlich deutlich mehr Replikationsstudien veröffentlicht.

Der Workshop gab zunächst einen Überblick über diese Entwicklungen. Ausgehend von den verschiedenen Funktionen von Replikationen und den daraus abgeleiteten Typologien, wurden anschließend alle Aspekte des Designs und der Durchführung von (direkten und konzeptuellen) Replikationsstudien behandelt und an Beispielen diskutiert. Dies umschloss unter anderem die Auswahl von zu replizierenden Originalstudien, den Bezug zwischen zugrundeliegender Theorie und Replikationsdesign, Stichprobenplanung, Präregistrierung und Dokumentation, Erfolgskriterien für Replikationen, Verfahren der statistischen Analyse sowie Interpretation und Publikation von Replikationsstudien. Schwerpunktsetzungen richteten sich dabei nach den Interessen der Teilnehmer*innen.

Der Workshop sollte sowohl eine Einführung in die „Theorie der Replikation“ geben als auch eine umfassende Grundlage für die Planung eigener Replikationsstudien bieten. Er beschränkte sich dabei auf die Replikation experimenteller Designs (insbesondere im stärker praktischen Aspekt der Planung von Replikationsstudien).

Ziele

  • Überblick über den aktuellen Stand der theoretischen und methodischen Diskussion von Replikationen
  • Kritische Reflexion der Möglichkeiten und Grenzen von Replikationsstudien
  • Planung eigener Replikationsstudien

Zielgruppe

  • Sozialwissenschaftler*innen, die sich für die Durchführung und / oder kritische Bewertung von Replikationen experimenteller Designs interessieren

Voraussetzungen

  • Keine (für Teile des Workshops sind grundlegende inferenzstatistische Kenntnisse hilfreich).

Literatur

Brandt, M.J., Ijzerman, H., Dijksterhuis, A., Farach, F., Geller, J., Giner-Sorolla, R., Grange, J. A., Perugini, M., Spies, J., & van ‘t Veer, A. (2014). The replication recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50, 217-224. 10.1016/j.jesp.2013.10.005

Erdfelder, E., & Ulrich, R. (2018). Zur Methodologie von Replikationsstudien. Psychologische Rundschau, 69, 3–21. 10.1026/0033-3042/a000387

Hüffmeier, J., Mazei, J., & Schultze, T. (2016). Reconceptualizing replication as a sequence of different studies: A replication typology. Journal of Experimental Social Psychology, 66, 81-92. 10.1016/j.jesp.2015.09.009

Nosek, B.A. & Errington, T.M. (2020). What is replication? PLoS Biol, 18(3): 10.1371/journal.pbio.3000691

Schmidt, S. (2009) Shall we really do it again? The powerful concept of replication is neglected in the social sciences. Review of General Psychology, 13, 90–100. 10.1037/a0015108

Simonsohn, U. (2015). Small telescopes: Detectability and the evaluation of replication results. Psychological Science, 26(5), 559–569. 10.1177/0956797614567341

Verhagen, A. J., & Wagenmakers, E.-J. (2014). Bayesian tests to quantify the result of a replication attempt. Journal of Experimental Psychology: General, 143, 1457–1475. 10.1037/a0036731

Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2018). Making replication mainstream. Behavioral and Brain Sciences, 41. 10.1017/S0140525X17001972