Reproducibility
Die Replikationskrise hat in der Psychologie, aber auch in den kognitiven Neurowissenschaften ein Umdenken ausgelöst. Reproduzierbarkeit und Replizierbarkeit sind zu wichtigen Konzepten für nachhaltige Forschung geworden. Die Begriffe werden verwirrenderweise aber oft unterschiedlich definiert (Plesser (2018)).
Replizierbarkeit
Replizierbarkeit (replicability) bedeutet, dass ein Experiment von einer anderen Forschungsgruppe mit einer neuen Stichprobe durchgeführt werden kann, und ähnliche oder dieselben Resultate hervorbringt, wie die Originalstudie. Wird eine Studie mehrmals repliziert, steigt die Wahrscheinlichkeit, dass kein Zufallsbefund vorliegt.
Replicability refers to the ability of a researcher to duplicate the results of a prior study if the same procedures are followed but new data are collected. Cacioppo et al. (2015)
Reproduzierbarkeit
Reproduzierbarkeit (reproducibility) hängt eng mit der Replizierbarkeit zusammen, ist aber nicht dasselbe. Der Begriff wird teilweise sehr allgemein verwendet, und bedeutet so dass Forschungsergebnisse wiederholt gefunden werden auch von anderen Forschenden mit neuen Stichproben.
Reproduzierbarkeit im engeren Sinn hingegen bezieht sich darauf, ob die durchgeführte Analyse wiederholt werden kann. Die Reproduzierbarkeit ist somit hoch, wenn Forschende die Daten und Datenanalyseskripts bereitstellen und andere Forschende damit dieselben Analysen durchführen können und zu gleichen Resultaten kommen.
Reproducibility refers to the ability of a researcher to duplicate the results of a prior study using the same materials as were used by the original investigator. That is, a second researcher might use the same raw data to build the same analysis files and implement the same statistical analysis in an attempt to yield the same results…. Reproducibility is a minimum necessary condition for a finding to be believable and informative. Cacioppo et al. (2015)
Um die Begriffe zusammenzufassen schlugen Goodman, Fanelli, and Ionnidis (2016) vor von Reproduzierbarkeit der Methoden (Daten und Prozesse können exakt wiederholt werden), Reproduzierbarkeit der Resultate (andere Studien kommen auf dieselben Resultate) und Reproduzierbarkeit der wissenschaftlichen Schlussfolgerung (bei Repetition der Analyse oder der Experimente werden dieselben Schlüsse gezogen) zu sprechens.
Grundsätzlich besteht das Ziel, dass in der Forschung möglichst viel Evidenz für eine Schlussfolgerung gesammelt werden kann. Dies gelingt, wenn die Prozesse transparent, fehlerfrei und wiederholbar sind.
Hindernisse bei der Reproduzierbarkeit
Reproduzierbarkeit kann laut Nosek et al. (2022) vor allem aus zwei Gründen nicht gegeben sein: Weil die Daten/Skripte nicht zur Verfügung stehen, oder weil diese Fehler enthalten:
In principle, all reported evidence should be reproducible. If someone applies the same analysis to the same data, the same result should occur. Reproducibility tests can fail for two reasons. A process reproducibility failure occurs when the original analysis cannot be repeated because of the unavailability of data, code, information needed to recreate the code, or necessary software or tools. An outcome reproducibility failure occurs when the reanalysis obtains a different result than the one reported originally. This can occur because of an error in either the original or the reproduction study.
Führt die Reproduktion nicht zum selben Resultat, löst das Zweifel am Forschungsergebnis aus. Wenn die Reproduzierbarkeit am Prozess scheitert, etwa weil die Daten nicht vorhanden sind, kann kein Schluss gezogen werden, ob die Resultate stimmen.
Achieving reproducibility is a basic foundation of credibility, and yet many efforts to test reproducibility reveal success rates below 100%. … Whereas an outcome reproducibility failure suggests that the original result may be wrong, a process reproducibility failure merely indicates that the original result cannot be verified. Either reason challenges credibility and increases uncertainty about the value of investing additional resources to replicate or extend the findings (Nuijten et al. 2018). Sharing data and code reduces process reproducibility failures (Kidwell et al. 2016), which can reveal more outcome reproducibility failures (Hardwicke et al. 2018, 2021; Wicherts et al. 2011). Nosek et al. (2022)
Das Teilen von Daten und Datenverarbeitungsskripten erhöht die Wahrscheinlichkeit, dass mögliche Fehler im Prozess gefunden werden, da auch andere Forschende die Daten/Skripts verwenden können. Das ist vorerst unangenehm, gehört aber zum Prozess der Wissenschaft dazu. Reproduzierbarkeit erhöht also indirekt auch die Replizierbarkeit.
Tools für Reproduzierbarkeit
Für reproduzierbare Forschung gibt es inzwischen viele gute Tools:
- Website der Open Science Foundation: Eine kostenfreie und unkomplizierte Möglichkeit Daten und Skripts zu teilen, und diese in Projekten abzulegen. Es lässt sich dafür sogar ein doi erstellen. Auch Preregistrationsformulare sind hier implementiert.
Beim Veröffentlichen von wissenschaftlichen Artikeln ist es empfohlen, die Daten (falls anonymisiert möglich) sowie die Analyseskripts mitzuveröffentlichen.
- Für Datensätze gelten die FAIR Guiding Principles (Wilkinson et al. (2016)):
- F indability: Es ist klar unter welchen Umständen und wie die Daten zugänglich sind
- A ccessibility: Daten sind zugänglich bzw. es ist klar wo sie zu finden wären
- I nteroperability: Verwendbare Datenformate/strukturen
- R eusability: gute Beschreibung des Datensatzes/der enthaltenen Variablen
- Für Neuroimaging-Daten gibt es beispielsweise vorgegebene Konventionen, wie ein Datensatz und die Verarbeitungsskripts abgespeichert werden. Ein Beispiel dafür ist Brain Imaging Data Structure (BIDS). So können Datensätze mit einer für alle verständlichen Struktur veröffentlicht und geteilt werden.
- Für das Veröffentlichen von Analyseskripts eignen sich Formate wie RMarkdown in R, oder LiveScripts in MATLAB sehr gut. Aber auch
.r-Skripte, wie Sie sie in dieser Veranstaltung verwenden können veröffentlicht werden.
Code kommentieren
Das Teilen von Skripts macht am meisten Sinn, wenn sie verständlich strukturiert und kommentiert sind. Beim Kommentieren von Code sollte folgendes beachtet werden:
Kommentare sollten geschrieben werden, wenn der Code erstellt wird und laufend überarbeitet werden. Oft wird es sonst nicht nachgeholt.
Wenn man nicht genau kommentieren kann, was man im Code macht, dann ist evtl. der Code unklar, oder man versteht ihn noch nicht. Vielleicht kann man Variablennamen vereinfachen/präzisieren und es braucht weniger Kommentare?
Wenn Code kopiert wird, sollte die Quelle angegeben werden.
Vor dem Veröffentlichen, lohnt es sich jemanden den Code ausführen lassen. So zeigt sich wo noch unklare Stellen sind, die Kommentare benötigen.
References
Reuse
Citation
@online{ellis2023,
author = {Andrew Ellis and Gerda Wyssen},
title = {Reproducibility},
date = {2023-03-20},
url = {https://kogpsy.github.io/neuroscicomplabFS23//reproducibility.html},
langid = {en}
}