Is Pre-Registration already a thing in communication science?

[english version below]

Vergangenen Donnerstag war ich bei einem Mittagsmeeting zum Thema Pre-Registration. Christin Scholz und Professor Eric-Jan Wagenmakers, beides Mitarbeiter an der UvA, sprachen über Erfahrungen, von Strategien und Tipps mit Pre-Registration. Ich habe mich kurz gefragt, warum und wofür eigentlich ich mich vorher einschreiben soll. Die anderen sahen nicht so aus, als hätten sie sich diese Frage gestellt. Ein Beitrag über ein teilweise bereits etabliertes Forschungsvorgehen, was jedoch noch nicht zum alltäglichen Repertoire der Kommunikationswissenschaft gehört.

Pre-Registration – Was ist das?

Ich denke, ein alter Hase ist Pre-Registration auch hier am ASCoR noch nicht, aber die meisten scheinen doch etwas mit dem Begriff anfangen zu können. Pre-Registration [Pre-Reg] ist die Veröffentlichung des Analyseplans eines Forschungsprojektes bereits vor der Datenerhebung auf einem unabhängigen und öffentlich zugänglichen Online-Plattform, dem Register. In einer Pre-Reg definieren Autor*innen noch vor der Datenerhebung nicht nur die Ziele und Hypothesen ihrer Studie, sondern bereits Stichprobe und Auswertungsstrategie einschließlich der exakten Tests, die gerechnet werden sollen; und auch, was welche Ergebnisse bedeuten würden. Die Pre-Reg-Dokumente haben beinahe den Charakter fertiger Paper, in denen nur noch die Ergebnisse fehlen. Und das Online-Register hat die einfache Funktion den Analyseplan mit einem Zeitstempel zu versehen und aufzubewahren.

Warum? The Pre-Register Revolution

Der veröffentlichte Analyseplan ist als Verpflichtung für die Forschenden zu verstehen. Was einigen vielleicht tatsächlich gar nicht bewusst ist: Forschung geht so vor, dass zuvor überlegte Konzepte überprüft werden. Durch Studien werden Fragen beantwortet und Hypothesen abgelehnt oder bestätigt. Qualitativ hochwertige Forschung soll so sein, dass eine Hypothese nicht aufgrund der Datenlage generiert wird und Tests durchgeführt, die vorher nicht geplant waren, nur weil die Daten dabei interessante Zusammenhänge aufweisen. Sinn und Zweck von Pre-Reg ist die Glaubwürdigkeit von Forschungsergebnisse zu erhöhen und zu verhindern, dass Forscher „so tun“ als hätten sie sich etwas vorher überlegt, was sie zufällig aus den Daten herauszulesen scheinen.

Diese Qualitätssicherstellung durch Pre-Reg kann großen Einfluss auf das Wissenschaftssystem haben, weshalb das simple Format auch als “Revolution” bezeichnet wird. Mit der konkreten, öffentlichen Planung von Forschungsprojekten wird in Pre-Reg die “einzige Möglichkeit” gesehen, die Phänomene P-Hacking (selektiv nur statistisch signifikante Werte veröffentlichen) und HARKing (Hypothesen aufstellen, nachdem die Ergebnisse bekannt sind) zu vermeiden. Durch die peer-review Form der Pre-Registration, den sogenannten Registered Reports, in denen Journals bereits einem Forschungsplan das erste Mal reviewen und ein zweites Mal, wenn die Ergebnisse da sind, soll auch Publication Bias verhindert werden. Denn wenn alles so durchgeführt wurde wie geplant, ist ein Journal zu der Veröffentlichung „verpflichtet“ – auch, wenn es keine Ergebnisse gibt.

Cool, oder? Und ich hatte bis vor einer Woche noch nie etwas davon gehört. Nun habe ich gelesen, dass Pre-Reg in klinischen Studien angeblich bereits seit Jahrzehnten obligatorisch ist und in der Psychologie zwar relativ neu, aber stark im Vormarsch (maßgeblich seit dem Skandal um die nicht mögliche Replizierbarkeit psychologischen Studien). Warum ist mir das also so fremd? Ist Pre-Reg einfach noch kein Ding in der KMW?

Pre-Reg in der explorativen Forschung und der KW

Bei Pre-Reg wird teilweise so genau geplant, dass ein Ergebnisteil sogar mit Pseudo-Daten simuliert wird, um noch genauer vorherzusehen, was alles passieren kann, wenn die Daten da sind und zu wissen, wohin die Reise dann geht. Für psychologische Experimentalstudien ist das eine sinnvolle Praxis; für Gedanken, die einem erst während eines Forschungsprozesses kommen und erkenntnisgebend sein können allerdings nicht.

Ist das ein Problem für Pre-Reg in der KW? Die KW lebt von einem großen Methodenkoffer. Von statistischen Umfragen, über Einzelinterviews und Gruppendiskussionen bis hin zu Inhaltsanalysen aller möglichen Dokumente und experimentellen Designs machen wir alles. Wir erforschen deskriptiv, prüfend und auch häufig (!): explorativ. Exploratives Forschen wird in der Diskussion um Pre-Reg allerdings etwas skeptisch betrachtet. Ein Erfahrungsbericht:

Some time ago I felt particularly ambitious and entered a new subfield, tried out a new method, developed a new measure, AND wanted to answer an exploratory research question. First of all, I don’t recommend doing all at once. But I was on one of those very short post doc contracts and felt the pressure (to be fair, I still do). So I went ahead, wrote up all I knew based on reading a lot of papers and talking to very smart and experienced colleagues. What I preregistered was an ideal scenario, but when I got my data, everything was different. First of all, the basic assumptions of my statistical tests were not met. The questionnaire data was all wonky, with a peak for low numbers and a loooong tail, definitely not normal. But I had not foreseen this case at all. (https://cogtales.wordpress.com/2016/04/01/preregistration-its-actually-a-really-good-idea/).

Auch Eric-Jan Wagenmakers hat im Mittagsmeeting dazu Stellung bezogen. Seine Position: Gedanken nach verfolgen ist erstrebenswert. Zu erkennen, wie wenig man zu Beginn wusste, hilft Fortschritt zu bemerken und vergessene Gedankenpfade wieder aufzugreifen. Auf einer individuellen Ebene schafft Pre-Reg auch bei explorativen Arbeiten mehr Kontrolle. Pre-Reg kann helfen nicht vom Weg abkommen, und wenn doch, nachvollziehen, wann das eigentlich passiert ist.

Aber das kann man doch auch offline machen, oder? Vielleicht etwas träumerisch von mir (wie immer), aber vielleicht findet sich irgendwo die eine Person, die das Projekt entdeckt und sich am Gedankengerüst beteiligt, mitdenkt. Forscherseelenverwandtschaft. Pre-Reg ist Open Science. Es schafft Zugänglichkeit und Transparenz. Für andere Wissenschaftler, für die Öffentlichkeit. Somit ist Pre-Reg ein Thema für die Wissenschaftskommunikation. Natürlich würden Laien wohl nur in extremen Ausnahmefällen auf eine Pre-Registration-Plattform gehen. Aber warum die Chance verwehren?

Fazit: Pre-Reg ist wie mein Blog, nur besser

Die Ideen und Ziele von Pre-Reg erinnern mich ziemlich genau an die meines Blogs: Die eigene Arbeit besser verstehen lernen, anderen Wissenschaftler*innen Zugangs- und Kontaktmöglichkeiten schaffen, Transparenz für die Öffentlichkeit erhöhen. Pre-Reg ist aber noch viel mehr. Je mehr Forscher sich beteiligen, desto größer kann ein Netzwerk aussehen, dass Qualitätssicherung stärkt und den Boden für faire Bedingungen für Arbeiten in einem internationalen Wissenschaftssystems schaffen kann. Pre-Registration passt in unsere Zeit. Nichts gerät in Vergessenheit, alle können grenzenlos zusammenarbeiten.

Dieser Beitrag ist jetzt eher ein eindeutiges Plädoyer als eine kritische Auseinandersetzung geworden. Es ist jedoch nicht so, dass ich frei von Skepsis bin, aber bei der aktuellen wissenschaftlichen Praxis bin ich das ja auch nicht.

Ich frage mich wirklich, was meine Leser davon denken.

Weiterführende Auseinandersetzungen

 

Is Pre-Registration already a thing in communication science?

Last Thursday I went to a lunch meeting about pre-registration. Christin Scholz and Professor Eric-Jan Wagenmakers, both UvA members, talked about experiences, strategies and tips with pre-registration. I asked myself briefly why and wherefore I should register. The others seemed not to ask themselves this question. This is an article about a partially established research procedure, which is not yet part of the everyday repertoire of communication science.

Pre-Registration – What is that?

I don’t think pre-registration to be an old rabbit here at the ASCoR yet, but most of the researcher seemed to know something about it. Pre-Registration [let’s call it Pre-Reg] is the publication of the analysis plan of a research project already before data collection. This publication is made on an independent and for everybody accessible online platform, the so called Register. In a Pre-Reg, authors define not only goals and hypotheses of their study before data collection, but also sample and evaluation strategy, including the exact tests to be calculated, and what the outcome would mean. The Pre-Reg documents almost have the character of finished papers in which only the results are missing. And the online-register has the simple function of time-stamping and storing the analysis plan.

What’s the matter with this? The Pre-Register Revolution

The published analysis plan is to be understood as an obligation for researchers. What some may not even be aware of is that research proceeds in such a way that only previously considered concepts are examined. Studies answer questions, reject or confirm hypotheses. In high-quality research, hypotheses are not generated on the basis of data results and tests
that were not previously planned are not carried out just because the data seem to show interesting correlations. The purpose of Pre-Reg is to increase the credibility of research results and to prevent researchers from “pretending” that they have thought about what they actually happen to read from the data.

This quality assurance by Pre-Reg can have a big influence on the science system, which is why this simple idea of Pre-Reg is often called a “revolution”. With the concrete planning of research projects, Pre-Reg is named to be the “only way” to avoid the phenomena of P-hacking (selectively publishing only statistically significant values) and HARKing (hypothesizing after the results are known). There is also a the peer-reviewed mode of pre-registration – so-called Registered Reports – in which journals already review the analysis plan. If everything from this plan is realized as described beforehand, a journal is “obliged” to publish the paper after a second review, even if there are no results. With this, publication bias should be prevented.

Cool, isn’t it? And I had never heard of it until a week ago. Now I’ve read that Pre-Reg is already mandatory in clinical trials for decades and that it’s relatively new in psychology, but it’s on the rise (mainly since the scandalous replication study of psychological experiments). So why is this so new to me? Is Pre-Reg simply not yet a thing at communication science?

Pre-Reg in explorative research and in communication science

In Pre-Reg, planning is sometimes so precise that a result part is even simulated with pseudo data, in order to predict even more precisely what can happen when the data is there and to know where the journey will lead. This is a useful practice for psychological experimental studies, but not for thoughts that come to you during a research process.

Is this a problem for Pre-Reg in communication science? Communication science lives off a large set of methods. We do everything from statistical surveys, individual interviews and group discussions to content analyses of all possible documents and experimental designs. We research descriptively, testingly and also frequently (!) exploratively. Explorative research, however, is viewed somewhat skeptically in the discussion about Pre-Reg. A field report:

Some time ago I felt particularly ambitious and entered a new subfield, tried out a new method, developed a new measure, AND wanted to answer an exploratory research question. First of all, I don’t recommend doing all at once. But I was on one of those very short post doc contracts and felt the pressure (to be fair, I still do). So I went ahead, wrote up all I knew based on reading a lot of papers and talking to very smart and experienced colleagues. What I preregistered was an ideal scenario, but when I got my data, everything was different. First of all, the basic assumptions of my statistical tests were not met. The questionnaire data was all wonky, with a peak for low numbers and a loooong tail, definitely not normal. But I had not foreseen this case at all. (https://cogtales.wordpress.com/2016/04/01/preregistration-its-actually-a-really-good-idea/)

Eric-Jan Wagenmakers also talked about this at the lunchtime meeting. His position: Pursuing thoughts is desirable. To recognize how little one knew at the beginning of a research process helps to notice progress and to pick up forgotten thought paths again. On an individual level, Pre-Reg can create more control in explorative work. Pre-Reg can help to stay on the path, and if it doesn’t, it can understand when a stray actually happened.

But that can also be done offline, right? Maybe a bit dreamy of me (as always), but maybe there is someone somewhere who discovers the project and participates in one’s thought process. A researcher soul kinship. Pre-Reg is Open Science. It creates accessibility and transparency. For other scientists, for the public. Thus Pre-Reg is a topic for science communication. Of course, laypersons would only go to a pre-registration platform in extreme exceptional cases. But why deny the chance?

Conclusion: Pre-Reg is like my blog, only better

The ideas and goals of Pre-Reg remind me pretty much of those of my blog: Learning to better understand one’s own work, creating access and contact opportunities for other scientists, increasing transparency for the public. But Pre-Reg is much more than that. The more researchers participate, the larger a network can be that strengthens quality assurance and can create the basis for fair conditions for working in an international science system. Pre-registration fits in with our times. Nothing is forgotten, everyone can work together without borders.

This contribution has now beome a clear plea for pre-reg rather than a critical debate. However, it is not that I am free of scepticism, but neither am I in current scientific practice.

I really wonder what my readers think of it.

Further Reading

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.