From Theory to Experiment: Working with two social science methods that could hardly be more different

(english version below)

Theoretiker träumen von der Klärung großer Bedeutungszusammenhänge. Mit einer theoretischen Analyse versuchen Wissenschaftler*innen sich von empirischen Daten zu trennen und allgemeingültige Aussagen zu treffen. Das ist ein nobles Ziel, welches viel Wissen voraussetzt, einen hohen gesellschaftlichen Wert hat und mit denen Theoretiker am Ziel angekommen oft etwas allein und unverstanden dastehen.

Denn je mehr Zusammenhänge eine theoretische Arbeit zu erklären versucht, und desto mehr Allgemeingültigkeit sie haben soll, desto schwieriger ist es, konkrete Bedeutungen aus ihr abzuleiten. Theoretische Arbeit ist abstrakt und häufig komplex. Was bedeutet es, dass die Gesellschaft nicht aus seinen Elementen, sondern aus den Relationen der Elemente zueinander besteht? Unbeliebt sind abstrakte Theorien nicht unbedingt aufgrund ihrer geringen Verständlichkeit, sondern mehr noch ihrer mangelnden praktischen Umsetzbarkeit: Angenommen, ich hätte in einer hitzigen Diskussion bereits einen aggressiven Kommentar getippt und frage mich nun noch, ob ich ihn abschicken soll oder ob ich es besser sein lasse, weil ich damit andere nur verärgere, wie kann mir dann die Systemtheorie helfen?

Ganz anders verhält es sich mit empirischen Daten, und zwar ganz besonders mit solchen aus experimentellen Designs. In den Wissenschaften gilt das Experiment als der Königsweg für die Überprüfung sozialwissenschaftlicher Aussagen: Ein Experiment ist am ehesten geeignet, um zu ermitteln, ob bestimmte Faktoren Ursachen für Zusammenhänge sind oder nicht. Wenn ich einen aggressiven und einen liebevollen Kommentar verfasse und diese je zwei unterschiedlichen Gruppen vorlege; dann weiß ich genau, dass ich besser keinen aggressiven Kommentar schreibe, wenn die Gruppe mich mit Steinen bewerfen möchte, die diesen gelesen hat, während die andere Gruppe gar nicht daran denkt, mich mit Steinen zu bewerfen. Ignorieren wir die Vereinfachungen dieses experimentellen Designs zugunsten dessen, worum es in diesem Text gehen soll, dann kann man eine eindeutige Aussage treffen: Menschen, die einen aggressiven Kommentar lesen, werden eher mit Steinen werfen als Menschen, die einen liebevollen Kommentar lesen.

Die Aussage ist konkret und völlig richtig. Aber was, wenn ich einen aggressiven und einen traurigen Kommentar schreibe? Was ist, wenn sich der Kommentar um ein anderes Thema dreht oder die Lesenden beim nächsten Mal andere sind? Was ist, wenn keine Steine da sind: Würden sie dann auch mit Tomaten werfen? Leider sagt dieser richtige Satz nichts darüber aus, ob das Experiment beim nächsten Mal wieder so ausgehen würde, wenn die Bedingungen sich leicht verändert (oder sogar die gleichen) sind. Nicht umsonst sagte Einstein einmal:

“No amount of experimentation can ever prove me right; a single experiment can prove me wrong.”

Was bringt mir ein Experiment, wenn es so gut wie nichts darüber aussagt, was passiert, wenn ich etwas unter leicht veränderten Bedingungen nochmal mache? Trotz Experiment weiß ich also noch immer nicht, wie ich mich das nächste Mal verhalten soll, wenn ich darüber nachdenke, einen wütenden Kommentar zu posten. Oder muss ich vor jedem Post zunächst ein Experiment planen?

Experiment und Theoriearbeit: Ein ungleiches Paar?

Auf einem zweidimensionalen Achsendiagram zwischen Abstraktheit und Informationsgehalt würden sich die Theoriearbeit und das Experiment auf gegenüberliegenden Polen befinden. Aussagen, die mit einem Experiment getroffen werden, sind konkret, aber sie haben kaum Informationsgehalt oder erklären weitreichende Zusammenhänge. Eine Theorie hingegen kann genau das leisten, bleibt dabei jedoch allgemein und damit weit weg von Fallbeispielen.

Ich bin nun in Amsterdam um eine Studie durchzuführen, dessen Kern ein Experiment ist. Ich werde testen, wie Menschen auf Kommentare reagieren. Aber wie soll mich ein Experiment in meinem Bestreben weiterbringen, größere Wirkzusammenhänge von Kommentaren zu erklären, wenn ich damit doch nur einzelne Aussagen überprüfen kann?

Diese Frage beschreibt eine Schwierigkeit, die sich immer einstellt, wenn theoretische Ideen empirisch überprüft werden sollen. Nur eine weitere Herausforderungen auf dem Herausforderungsberg.


Theorists are dreaming of the clarification of great world correlations. With a theoretical analysis, they try to separate themselves from empirical data and make generally valid statements. This is a noble goal, which requires a lot of knowledge, has a high social value and at the end, theorists achieve this goal being alone and misunderstood.

The more a theoretical work attempts to explain huge correlations, and the more these correlations should have general validity, the more difficult it is to derive concrete meanings from it. Theoretical work is abstract and often complex. What does it mean that society does not consist of its elements, but of the relations between the elements? (What, Luhmann, what???) However, abstract theories are not necessarily unpopular because of their lack of comprehensibility, but even more because of their lack of practical feasibility: Assuming I had already typed an aggressive commentary in a heated discussion and now wonder whether I should send it or whether I should not send it, how can Systemtheorie help me?

The situation is quite different with empirical data, and in particular of those from experimental designs. In sciences, the experiment is regarded as the ideal way to verify social science statements: an experiment is most suitable for determining whether certain factors are the cause of connections or not. If I write an aggressive and also a loving one and present each of these comments to two different groups, then I know exactly that I better not write an aggressive comment if the group wants to throw stones at me that have read the aggressive comment, while the other group doesn’t even think about throwing stones at me. If we ignore the simplifications of this experimental design in favour of what this text is about, we can make a clear statement: People who read an aggressive commentary are more likely to throw stones at me than people who read a loving commentary.

The statement is concrete and completely correct. But what if I write an aggressive and a sad comment? What if the comment is on a different topic or the next time the readers are different? What if there are no stones? Would they also throw tomatoes? Unfortunately, this correct sentence doesn’t say anything about whether the experiment would end like this again next time the conditions change slightly (or are even the same conditions). Einstein once said:

No amount of experimentation can ever prove me right; a single experiment can prove me wrong.”

What good is an experiment if it says almost nothing about what will happens if I do it again under slightly different conditions? I still don’t know how to behave next time I think about posting an angry comment. Or do I have to plan an experiment before each time I want to post something?

Experiment and Theory: An unequal couple?

On a two-dimensional axis diagram between abstractness and information richness, the theoretical work and the experiment would be located on opposite poles. Statements made with an experiment are concrete, but they are poor of information or can not explain far-reaching connections. A theory, on the other hand, can do just that, but remains general.

I am now in Amsterdam to carry out an experiment. I will test how people react to comments. But how can an experiment help me in my quest to explain greater interrelationships of comments effects on emotions when I can only check individual statements?

This question describes a difficulty that always arises when theoretical ideas are to be empirically tested. Just one more challenge on the mountain of challenges.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.