Warum fällt es anderen oft schwer, sozialwissenschaftliche Forschungspraxis nachzuvollziehen – Überlegungen am Beispiel Stimulus Erstellung

In Gesprächen über meine Arbeit außerhalb der Uni muss ich das, was ich tue, meistens verteidigen. Freunde und Bekannte fragen mich, was das bringt, wofür ich das mache. Sie bezweifeln, ob das etwas “Richtiges” ist.

Derzeit plane ich ein Experiment und merke wieder besonders, wie absurd wissenschaftliche Vorgehensweisen anderen vorkommen können: Wieso sollte jemand monatelang an einem manipulierten Facebook Posting arbeiten? Wieso etwas mit großem Aufwand untersuchen, wo man das Ergebnis doch eigentlich schon zu wissen glaubt?

In diesem Beitrag versuche ich dieses Unverständnis zumindest etwas aufzuklären. Ich versuche zu erläutern, was es bedeutet, einen typischen Nachrichtenbeitrag (hier als Facebook Post) als Stimulus in einem Experiment zu erstellen. Es geht um Entscheidung kleinster, dahinterliegender Forschungsdetails, um die Bedeutung jedes Wort, jedes Zeichen. Es geht um Fragestellungen, von denen ich weiß, dass nicht nur Freunde und Bekannte, sondern auch Kolleg*innen aus anderen Wissenschaftsdisziplinen mich schief ansehen und sagen würden: Über so etwas machst du dir Gedanken? Das ist „Wissenschaft“? Bei meiner Arbeit am Stimulus habe ich mir oft gedacht, dass es genau solche Arbeiten sind, die ein Unverständnis gegenüber wissenschaftlichen Vorgehensweisen (gerade in den Sozial- und Geisteswissenschaften) zwar berechtigt erscheinen lassen, es aber gleichzeitig überhaupt nicht sind.

Der einfache Zusammenhang 

Worum geht es? In meinem experimentellen Setting sollen Studienteilnehmende mehrere Facebook Nachrichtenbeiträge mit dazugehörigen User-Kommentaren ansehen. Mit der Studie soll untersucht werden, wie sich die Emotionalität der Kommentare auf die visuelle Aufmerksamkeit der Lesenden auswirkt und wie lang die Informationen im Kurzzeitgedächtnis gespeichert werden. Schauen Lesende emotionale Kommentare länger an als unemotionale? Merken sich Menschen Kommentarinhalte besser, wenn sie mit Emotionen verknüpft sind? Die Aufmerksamkeit messe ich mit Eye Tracking, also indem ich ihre Blickbewegungen aufnehme und analysiere. Die Gedächtnisleistung wird in einer anschließenden Befragung getestet.

Easy peasy Fragestellung: Schauen Leute länger auf emotionale als auf nicht emotionale Kommentare? Das war’s. Mehr ist es nicht. Es geht nicht zusätzlich um die Qualität von Argumenten und Meinungen oder um die Hintergründe der jeweiligen User und ihrer Accounts, sondern ausschließlich um die Emotionen in den Kommentaren (zugegeben: mit verschiedenen Abstufungen).

Zum Abschluss des Experiments kann ich dann eine genaue Aussage treffen: Ja oder Nein. Menschen schauen länger hin oder eben nicht; merken sich die Inhalte besser, oder eben nicht. Der Rest (Was bedeutet das für Meinungsbildung oder Handlungsentscheidungen?) ist in erster Linie theoretische Implikation.

Der Aufwand

Ich vermute, dass dieses Experiment auf dem ersten Blick als leicht und schnell umsetzbar erscheint. Nun ist das mit der Manipulation der Emotionen in den Kommentaren so eine Sache für sich, die ich schon an verschiedenen Stellen im Blog aufgegriffen habe und in deshalb hier außen vor lasse. Ich möchte in diesem Beitrag nur die Vorbereitung aufzeigen, die nötig ist, um die emotionalen Kommentare in einem Facebook-Post einzubetten und damit die Frage beantworten: Was muss alles bedacht und entschieden werden, um jemanden einen „ganz normalen“ Facebook-Nachrichtenpost zu zeigen und damit eine Forschungsfrage zu überprüfen?

IT’S MANIPULATION TIME

Die wissenschaftliche Literatur macht viele Vorschläge macht, um mit solchen Fragestellungen umzugehen. Doch wie würde jemand vorgehen, der sich “logisch” annähert, der kein*e Sozialwissenschaftler*in ist? Vielleicht so

  • (1) einen Nachrichtenbeitrag online aussuchen,
  • (2) die bereits manipulierten emotionalen Kommentare daruntersetzen und
  • (3) es den Proband*innen zeigen.
  • (4): Auswerten, wo wie lange hingeschaut wurde.

Mit dieser Vorgehensweise wird es Ergebnisse geben, mit denen ich die grundlegende Ja-/Nein-Frage beantworten kann. Ja oder nein, einige Kommentare werden (nicht) länger angeschaut. Was ich am Ende nicht sagen kann: Emotionale Kommentare werden länger angeschaut. Denn ich kann nicht wissen, warum Menschen sich einige Kommentare länger ansehen oder sich an unterschiedliche Inhalte erinnern. Sind die Ergebnisse wirklich auf die Emotionen im Kommentar zurückzuführen oder auf etwas anderes? Zum Beispiel auf die Voreinstellung zu Facebook oder dem Nachrichten-Anbieter, das Thema des Beitrages, die Länge eines Kommentars, das Argument, den lustigen Usernamen, die Like-Anzahl?

Ohne ausschließen zu können, dass diese Faktoren für das Ergebnis verantwortlich sein könnten, kann keine Aussage dazu getroffen werden, warum Menschen wohin schauen und das Ergebnis wird irrelevant. Ähnlich wie bei einem naturwissenschaftlichen Experiment, müssen die Rahmenbedingungen immer gleich sein. Alles muss genau kontrolliert und vorab festgelegt sein. Was das für mein Beispiel bedeutet, das seht ihr in folgender Tabelle. Die Tabelle ist hat keinen Anspruch auf Vollständigkeit, sondern hat eine beispielhafte Funktion.

1 – Die Nachrichten- plattform

Nachrichten online gibt es nicht nur auf Nachrichten-Websites selbst, sondern auch auf Social Media Plattformen, bei E-Mail-Anbietern oder Anbietern von Sammlungen von Nachrichten. Interessiert man sich grundlegend für Nachrichten online, muss entschieden werden, mit welcher Plattform man arbeiten möchte. Die Frage ist nicht leicht, denn die Entscheidung hat einen Einfluss darauf, wie eine Nachricht auf die Proband*innen wirkt. Ist die Plattform vertraut und sind Rezeptionsabläufe habituell? Haben die Nutzenden positive oder negative Voreinstellungen? Ist das Setting realistisch: Lesen Menschen überhaupt Nachrichten auf den Plattformen oder werden sie kaum dafür genutzt?

Auch pragmatische Entscheidungen müssen getroffen werden. Wir machen eine Eye Tracking Studie. Wie gut lässt sich das Beispiel auf einem Screen darstellen? Welche Bedeutungen hat das für die Datenerhebung? Was kann der Eyetracker leisten, usw. usf.

In dieser Studie haben wir uns entschieden, eine Nachricht in einem Facebook-Post zu präsentieren. Unsere Proband*innen werden Studierende sein, die die Plattform kennen und auf der sie sich nicht erst orientieren lernen müssen während des Experimentes. Facebook wird außerdem intensiv als Quelle für Nachrichteninformationen genutzt und ist damit ein authentisches Szenario. Diese Annahmen sind durch wissenschaftliche Studien gestützt. Natürlich wäre auch Instagram möglich gewesen, oder Twitter. Auch hierfür hätte es ähnlich gute Argumente gegeben. Facebook ist besonders interessant, finde ich, da sie eine Plattform für die Verbreitung populistischer Nachrichten ist. Das macht es gesellschaftlich relevant.

 

2 – Der Nachrichten- anbieter

Einerseits sollten die Proband*innen den Nachrichtenanbieter nicht gut kennen, damit sie keine vorgefertigte Meinung haben und bereits emotional auf den Absender reagieren; andererseits wäre es gut, im Sinne der externen Validität eine real existierende Zeitung als Absender des Nachrichten Posts auszuwählen. Warum sich etwas ausdenken, was es schon gibt?

Deshalb habe ich mir überlegt, eine Zeitung eines anderen europäischen Landes auszuwählen, die tendenziell bekannt ist aber vermutlich seltener regelmäßig gelesen wird und deshalb dadurch weniger Unterschiede in der Vertrautheit mit der Zeitung zwischen den Teilnehmer*innen entstehen. Das muss natürlich mit zusätzlichen Fragen nach der Studie auch sichergestellt werden: ein sogenannter Manipulationscheck. Außerdem wäre eine englischsprachige Zeitung gut, weil dafür keine weitere Übersetzung notwendig ist. Damit habe ich bereits einige Entscheidungen getroffen und Einschränkungen gemacht, welche hätten auch anders gemacht werden können. Welche Einflüsse das auf meine Ergebnisse haben könnte, muss mir klar sein. Von den englischsprachigen Zeitungen habe ich mir erst einmal eine Übersicht erstellen müssen und argumentativ überlegt, welche geeignet sein könnte. Ein längerer Prozess. Letztendlich habe ich mich für den Online-Anbieter “The Independent” entschieden.

3 – Die Nachricht

Es beeinflusst die Reaktionen der Proband*innen, ob sich der Nachrichtenbeitrag, der für den Stimuli manipuliert werden soll, um Geflüchtete dreht oder um Tierbabys. Auch macht es einen Unterschied, wie lang er ist und welches Bild ihn begleitet. Um zu vermeiden, dass das Thema einen allzu großen Einfluss auf die Aufmerksamkeit der Proband*innen hat, sollte der Stimulus so designed sein, dass er diese möglichst wenig beeinflusst. Das bedeutet in diesem Fall unter anderen, dass ich darauf geachtet habe, dass die Beiträge für die Proband*innen (Student*innen) weniger erregend sind. Das könnte dann am wahrscheinlichsten gelingen, wenn die Studierenden keinen oder kaum persönlichen Bezug zum Thema haben und das bestehende Wissen ähnlich (niedrig) ist, und das Thema generell wenig relevant ist. Das Thema sollte aber auch nicht zu uninteressant sein, da sonst die Gefahr besteht, dass die Studierenden zu wenig Motivation haben, sich damit auseinanderzusetzen. Darüber hinaus sollte das Thema selbst nicht emotional erregend sein.

Warum die Teilnehmenden außerdem nicht viel über das Thema wissen sollten, ist, weil das die Variable der „Erinnerung“ verfälschen würde. Alle im anschließenden Test abzurufenden Informationen in den Kommentaren müssen neu sein. Aus pragmatischer Sicht sollten es auch nicht allzu wenig Informationen sein, die der Beitrag präsentiert. Einerseits, um die Geschichte zu verstehen und andererseits, das Erinnern nicht allzu einfach zu machen.

Dies sind nun Kriterien, die unter anderen eine Rolle spielen. Auch hier gilt es, sich stark auf bestehende Studien zu berufen und das Rad nicht neu zu erfinden. Letztendlich habe ich für meine Studie die Themen nicht künstlich entwickelt, sondern aus bestehenden Nachrichtenbeiträgen Facebook Postings erstellt, die dem Kriterien gerecht werden können. Auch wenn in der Studie nur zwei manipulierte Nachrichtenbeiträge gezeigt werden, wurden einige mehr ausgesucht, bereitgestellt und Kommentare dafür entworfen. In einer Vorstudie werden die Kommentare getestet und sich dann für die Beiträge entschieden. Genau: Es gibt eine Vorstudie, in der mit echten Proband*innen getestet wird, ob die Manipulation des Stimuli funktioniert.

4 – Likes und Reactions

Likes, Reactions, Kommentare, Zeitstempel – auch auf Kleinigkeiten wie diese muss geachtet werden. Welche Anzahl beeinflusst die Teilnehmenden am wenigsten/ist am unauffälligsten? Verhältnismäßig eher eine kleine Sache, doch muss mir bei der Erstellung des Stimulus bewusst sein, dass ein Beitrag mit 1000 Kommentaren eine andere Wirkung erzielt als mit 0 Kommentaren. Auch hierfür kann und muss sich auf bestehende theoretische Studien bezogen werden.

5 - Die Kommentare

Bevor eine Manipulation der Emotionen der Kommentare stattfinden kann, muss Inhalt und Style so gleich sein, dass es letztendlich nur die Emotionen sein können, die die Lesenden beeinflussen. Hier gibt es wirklich einiges zu beachten. Das beginnt schon mit der Anzahl und Reihenfolge:

Jedem Artikel sollen vier Kommentare beigefügt werden. Die gleiche Anzahl der Kommentaren zu jedem Artikel wird aus zwei Gründen gewählt: (1) damit die Teilnehmenden sich nicht Gedanken darüber machen, warum der Stimuli in den zwei Schritten unterschiedlich ist, und (2) aus Gründen der Vergleichbarkeit der Aufmerksamkeit mit Eye Tracking. Für den Vergleich, wo länger hingeschaut wird, braucht es genau gleichgroße Felder, was mit vier Kommentaren erreicht werden kann (warum möchte ich an dieser Stelle nicht erklären). An welcher Stelle die emotionalen Kommentare stehen (erste, zweite, dritte, vierte) hat ebenfalls einen  Einfluss und es muss sich entschieden werden, ob man sie randomisiert, in verschiedenen Settings variiert oder die Reihenfolge beibehält (überzeugende Begründung notwendig!).

Um die Einflüsse auf Aufmerksamkeit auf Emotionen zurückverfolgen zu können, ist es außerdem von großer Bedeutung, andere Einflussfaktoren stabil zu halten. Kommentare müssen einander angeglichen werden in Bezug auf Länge, Sprachkomplexität und Autoreninformationen (z.B. können Personenbilder Reaktionen hervorrufen und solle entsprechend nicht erregend sein; und Namen sollten nicht in Bezug auf Alter, Geschlecht oder ähnliches identifizierbar sein). Darüber hinaus zeigen Untersuchungen unter anderen, dass Kommentare die Lesendenreaktionen unterschiedlich beeinflussen, wenn sie einem Artikel zustimmen/ablehnen oder die Qualität der Argumente unterschiedlich ist. Auch das sollte also versucht werden, möglichst stabil zu sein.

Eine zweite wichtige Manipulation ist die Auswahl der in den Kommentaren enthaltenen Informationen. Diese Informationen sollen verwendet werden, um im Erinnerungstest abgefragt zu werden. Entsprechend muss in jedem Kommentar eine vergleichbare Information enthalten sein, damit es keine unterschiedlichen Schwierigkeitsgrade gibt. Hierfür wird sich auf die Idee der “Story Detail Recognition” gestützt: Ich habe Informationen aus dem Artikel genommen, die nicht bereits im Facebook Post enthalten sind und je eine Kerninformation in einen Kommentar geschrieben. Dabei handelt es sich nicht um Zahlen, sondern immer um Teile der Geschichte. Wichtig ist auch, dass es keine allgemeinen Informationen sein dürfen, die ein Teilnehmender wissen könnte, ohne den Artikel gelesen zu haben.

Für jeden Beitrag wurden mehrere Versionen der dazugehörigen Kommentare erstellt.

Fazit

Und das ist nun das vorläufige Ergebnis (ohne richtigen Text, da die Studie noch aussteht).

Ein einfacher Facebook Post, vielleicht noch nicht mal so realistisch wie ein Original – und die Kommentare sind noch nicht hinsichtlich der Emotionen manipuliert. Es ist also noch gar nichts passiert. Der eigentliche Teil kommt erst noch. Der Aufwand und die Zeit hinter diesen Überlegungen sind aber bereits enorm.

Ich kann sehr gut nachvollziehen, dass Familie und Freunde – auch die in der Wissenschaft – nur mit Mühe verstehen, warum ein normaler Facebook Post im Experiment so viel Arbeit macht. Die Argumente sind aber überzeugend: Anders geht es nicht.

Noch ein Einblick in das wissenschaftliche Arbeiten

Nun ist meist zwangsläufig mit folgendem Gegenargument zu rechnen: Trotz des Aufwandes ist das Experiment doch nicht auch zwangsläufig präzise. Hätte man sich beispielsweise einen anderen Nachrichtenbeitrag ausgesucht, dann wäre vielleicht etwas ganz anderes dabei herausgekommen.

Das ist richtig. Man kann sich nicht sicher sein, wie es gewesen wäre. Wer Experimente macht, trifft Entscheidungen. Viele Entscheidungen. Entscheidungen, die hätten anders getroffen werden können und die das Ergebnis beeinflussen. Bei der Erstellung von Fragen für Interviews oder Umfragen ist das übrigens nicht anders. Hinter einem einfachen „Wie finden Sie XY?“ stecken meistens unheimlich viele Entscheidungen. Deshalb müssen Wissenschaftler*innen bis zur Veröffentlichung und darüber hinaus jede Entscheidung verteidigen, begründen, ihre Bedeutung einordnen und Schlussfolgerungen aus ihnen ziehen können. Ergebnisse sind nur solange richtig, bis sie widerlegt werden.

Das ist in vielen naturwissenschaftlichen Disziplinen nicht anders. Der Unterschied besteht nur darin, dass sich Facebook Posts und Fragestellungen scheinbar leichter verstehen lassen als mikrobische Verbindungen und physikalische Berechnungen. So ist es aber nicht. Vielleicht müssen mehr Vergleiche zur Naturwissenschaft gezogen werden, um die Entstehung von Fakten in der Sozialwissenschaft verständlich zu machen, um deutlicher hervorzuheben, warum “man nicht mal einfach dies und das” tun kann; warum es so keine richtigen Ergebnisse geben kann.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.