Die Entdeckung des Scheiterns

In unserem Alltag treffen wir immer nur auf die geglückten Experimente der Forscher. In der Schule lernen wir nur die richtigen Theorien der Wissenschaftler kennen. Die Pressemeldungen der Forschungsinstitute feiern große Durchbrüche und neue Entdeckungen und die Entwicklungsabteilungen der Firmen verkaufen uns die Produkte erfolgreicher Innovation. Man könnte fast meinen, Forschung sei eine einzige Erfolgsgeschichte. Aber natürlich sieht die Realität ganz anders aus.

Wissenschaft verläuft nicht geradlinig von der Idee über die Überprüfung und das Experiment bis hin zum Erfolg und später vielleicht dem fertigen neuen Produkt. Wissenschaft besteht auch zu einem großen Teil aus Versuch und Irrtum. Vor allem aus Irrtum. Wenn Wissenschaftler experimentieren, dann bekommen sie nicht immer das Ergebnis mit dem sie gerechnet haben. Ihre Theorien stellen sich als Irrtum heraus, ihre Annahmen erweisen sich als falsch und man muss nochmal ganz von vorne anfangen. Im Gegensatz zu den erfolgreichen Experimenten und Gedankengängen werden diese Fehlschläge allerdings eher selten öffentlich gemacht. Nicht so sehr, weil man sich ob des Misserfolg schämt, sondern weil die Publikationskultur in der Wissenschaft den spektakulären Ergebnissen die dann natürlich besonders oft zitiert werden, einen besonderen Stellenwert einräumt. Und wissenschaftliche Fehlschläge gelten als unspektakulär. Zu Unrecht, denn natürlich lässt sich aus dem eigenen Scheitern und vor allem dem der anderen viel lernen. Zu wissen, wie man es nicht machen soll, ist wichtig. Nur so kann man es vermeiden, Fehler zu wiederholen. Nur wenn man ausschließen kann, was falsch ist, landet man irgendwann bei dem, was richtig ist.

Mülleimer

Negative Forschungsergebnisse gehören nicht in den Müll (Bild: Patrick, CC-BY-SA 3.0)

Trotzdem ist es schwer, negative Forschungsergebnisse zu veröffentlichen. Die meisten Fachzeitschriften wollen nur über die gelungene Forschung berichten, nur vereinzelt gab es Publikationen, die in speziellen Bereichen auch über das Scheitern der Forscher berichteten (zum Beispiel das Journal of Negative Results in BioMedicine). Um diesem Publikationsbias entgegen zu wirken haben Leonie Mück und Thomas Jagau, zwei Doktoranden der Universität Mainz, vor einiger Zeit deswegen das Journal of Unsolved Questions, eine interdisziplinäre Zeitschrift mit dem passenden Akronym JUnQ. In JUnQ sollen nicht nur negative Resultate publiziert werden, sondern auch kurze Abhandlungen zu “Offenen Fragen” in der Wissenschaft. So wie in anderen Fachzeitschriften auch werden die Beiträge in JUnQ durch Fachgutachter geprüft, bevor sie veröffentlicht werden. Die Herausgeber der Zeitschrift haben sich ein großes Ziel gesetzt:

“Our vision is establishing the publication of null-results as an important cornerstone for the advancement of knowledge and scientific understanding in all disciplines thus con- tributing to overcome biases and fraud in research.”

Bis jetzt sind 2 Ausgaben von JUnQ erschienen. Die Themen decken ein breites Spektrum ab: Fragen zur Lösbarkeit von Schach oder Go werden ebenso behandelt wie Untersuchungen zur Fähigkeit von weiblichen Bonobos, den Orgasmus vorzutäuschen. Noch hält sich die Zahl der eingereichten Artikel in Grenzen. In einem Interview sagt Thomas Jagau:

“Bis heute ist es schwierig, jemanden davon zu überzeugen, dass es nicht seine persönliche Ehre verletzt, wenn man einen Versuch durchführt und der gescheitert ist. Wir versuchen, dies zu ändern und die Leute davon zu überzeugen, dass das, was sie selbst für gescheitert halten, für einen anderen durchaus fruchtbar sein könnte.”

Bleibt zu hoffen, dass sich diese Einstellung in Zukunft tatsächlich ändert. Zu Scheitern ist nicht schlimm – zumindest dann nicht, wenn man darüber berichtet und so anderen die Möglichkeit gibt, daraus zu lernen und es in Zukunft besser zu machen.

Florian Freistetter

Florian Freistetter ist Astronom. Er promovierte am Institut für Astronomie der Universität Wien und hat danach an der Sternwarte der Universität Jena und dem Astronomischen Rechen-Institut in Heidelberg gearbeitet. Zur Zeit lebt er in Jena, arbeitet dort an der Dynamik der extrasolaren Planeten, ärgert sich mit den Details der DFG-Antragstellung herum und bloggt über Wissenschaft.

14 Antworten

  1. Solveig Wehking Solveig Wehking

    In den empirisch ausgerichteten Sozialwissenschaften sind Hypothesen grundsätzlich so anzulegen, dass sie falsifizierbar sind und damit auch “veröffentlichungswert.” Die entscheidende Meßgröße ist allerdings das zu errechnende Signifikanzniveau, das den Geltungsbereich der jeweiligen Theorie einschränkt und Einfluss auf das Publizieren nimmt.
    Hier wird eine Studie zitiert, die zeigt, dass englischsprachige signifikante Ergebnisse bevorzugt in englischsprachigen Magazinen veröffentlicht werden und nichtsignifikante in deutschen, französischen oder spanischen Magazinen erscheinen mit entsprechenden Effekten:
    http://books.google.de/books?id=vt4t3PiNZQ8C&pg=PA155&dq=Publizieren+nichtsignifikanter+Ergebnisse+Wissenschaft&hl=de#v=onepage&q&f=false

    Aber immerhin und anders als in den Naturwissenschaften kann man die Ergebnisse veröffentlichen, denn falsifizierte Hypothesen oder nichtsignifikante Ergebnisse sind ein Erkenntnisfortschritt. Auf jeden Fall auf methodlogischer Ebene. Hier ein (sehr ausführlicher) Überblick zum “Versuchsaufbau” bin den Sozialwissenschaften:
    http://zpm.uke.uni-hamburg.de/Webpdf/LD5216Methodik.pdf

  2. Naja – auch in den Naturwissenschaften sollten Hypothesen natürlich immer falsifizierbar sein ;) Aber oft ist es halt nicht so einfach. Ein Beispiel aus meinem Fachgebiet, der Himmelsmechanik: Da will man z.B. die Dynamik eines extrasolaren Planetensystems untersuchen und macht dazu jede Menge Computersimulationen. Am Ende kriegt man kein konkretes Ergebnis, die vorhandenen Beobachtungsdaten reichen einfach nicht aus, um irgendwelche eindeutigen Aussagen über die Dynamik zu machen. Jetzt ein paper zu schreiben und das zu veröffentlichen wird schwierig, den jeder Gutachter wird sich beschweren, dass man keine Conclusion am Ende stehen hat. Dabei wären die Daten und Simulationsergebnisse an sich durchaus interessant – denn darauf könnten andere Forscher aufbauen und würden sich viel Arbeit ersparen.

    • Solveig Wehking Solveig Wehking

      Es ging ja darum, ob man die Ergebnisse veröffentlichen kann, als Sozialwissenschaftler eher ja, als Naturwissenschaftler eher nicht, wenn ich unsere Diskussion richtig verstehe.

      • Naja – wenn man sich anstrengt, dann kann man die vielleicht auch in der Naturwissenschaft veröffentlichen. Nur bringt es einem halt überhaupt nichts.

  3. Moin Florian!

    Da sprichst Du in der Tat ein a) wahres, b) wichtiges und c) absolut ambivalentes Thema an. In der Erziehung spricht man permanent davon, dass wir aus Fehlern lernen. Ind er Schule und später in der Uni wird uns der Fehler meist noch nachgesehen, denn hin und wieder ergeben sich aus den Fehlschlüssen von Schülern und Studenten auch mal spannende Diskussionen, die sich wiederum erkenntnisgewinnend weiterspinnen lassen. Doch spätestens im Job ist für einen Großteil von uns die Fehlertoleranz vorbei, oder zumindest stark geschmälert. Wenn es um’s Budget geht, sind Fehler selten erwünscht, seien sie auch noch so gewinnbringend für die Erkenntnis, das eigene Lernen, oder auch das Projektfortkommen.

    In der Wissenschaft ist die Falsifizierung von Theorien, die ja automatisch ein sehr großes Potential von Scheitern in sich trägt, eine der ureigensten Methoden. Gerade aber in der Präsentation nach außen sind hier erheblich Diskrepanzen zwischen tatsächlicher Innensicht und Außensicht. Von außen, so erscheint es mir in weiten Teilen, wird immer öfter die vorsichtige Annäherung an Forschungsergebnisse entlang von Positiverkenntnissen suggeriert, als die tatsächliche “Iteration” über Negativerkenntnisse. Womöglich liegt es auch hier an der Budgetfrage und der inhärenten Angst, dass “anscheinende Misserfolge” eventuell auch beim Förderer als solche im Gedächtnis bleiben (und nicht als wichtige Bestandteile des Forschungsprozesses) und entsprechend die Chance auf weitere Förderung verbaut.

    Wir sind hier an einem Punkt angelangt, an dem wir über eine wachsende Transparenz der Wissenschaft – weit über die Transparenz von Ergebnissen hinaus, nämlich über die Transparenz von Prozessen – ein Signal in viele andere Bereiche senden können.

  4. @Matthias: Ja, da hast du natürlich völlig recht. Das Problem ist ja auch der dadurch entstehende Publikationsbias (http://de.wikipedia.org/wiki/Publikationsbias) in der Wissenschaft. Wenn die Wissenschaftler nicht so durch die “Publish or Perish”-Mentalität gezwungen wären, eine spektakuläre Publikation nach der anderen rauszuschmeissen, dann könnte man vielleicht auch mal in Ruhe die negativen Ergebnisse aufarbeiten und veröffentlichen. Aber mit sowas kriegt man heute keine Veröffentlichungen, man wird nicht zitiert und die Publikationsliste ist nicht mehr lang und beeindruckend genug um Fördergelder zu kriegen. Um da an der Gesamtsituation nachhaltig was zu ändern, müsste die ganze Bewertungsstruktur in der Wissenschaft geändert werden. Dazu müssten aber erstmal entsprechende Impulse der Geldgeber (das ist ja meistens der Staat mit seinen Förderorganisation) kommen und danach siehts eher nicht aus…

  5. Solveig Wehking Solveig Wehking

    @Florian Ja, genau das zeigt die oben von mir zitierte Studie, den Publikationsbias, wenn signifikante Ergebnisse eher in englischsprachigen Publikationen veröffentlicht werden und die nichtsignifikanten in europäischen Fachzeitschriften. Und es stellt sich die Frage, ob die Fülle der Literatur noch bewältigbar bliebe, wenn wirklich alles veröffentlicht würde.

  6. Kathinka Best

    Was für eine spannende Diskussion! Als Wirtschaftswissenschaftlerin schließe ich mich dem allgemeinen Tenor an: es wäre auch in den WiWi sinnvoll, nicht signifikante Forschungsergebnisse zu veröffentlichen. Allein da Ökonomen mittlerweile in vielen Forschungsfeldern auf Metaanalysen von 20-30 Jahren Forschung zurückgreifen. Denn wie aussagekräftig ist eine auf Basis der veröffentlichten Studien gemittelten Korrelation von bspw. Mitarbeiterzufriedenheit und Fluktuationsrate wirklich?
    Meine Frage an die Runde: (wie) könnte es gelingen eine “non-significant-studies-Datenbank” zu etablieren, die über verschiedene Filter und Kategorien möglich macht, die Masse an nicht veröffentlichten Studien zu handhaben (Solveigs Punkt)? Wie könnte man die Qualität dieser sichern, wie die Validität der Vorgehensweisen? Wie Transparenz schaffen? Und nicht zuletzt: wer käme als Lobby, wer als Förderer in Frage? Für die Wissenschaft ergäben sich sicherlich große Chancen!

  7. @Kathinka: Hmm – die Qualitätssicherung für “negative Ergebnisse” muss meiner Meinung natürlich genau so laufen wie auch bei den “normalen” Ergebnissen. Wir reden ja nicht von schlechter Forschung sondern nur von Forschung, die nicht so relevant scheint, wie es die Journals gerne hätten bzw. einfach “nur” die Nullhypothese bestätigen oder einen Irrweg dokumentieren. Das ist aber nur dann brauchbar für andere Wissenschaftler, wenn man methodisch korrekt zum Ergebnis gelangt ist. Es braucht also auch hier Gutachter, die bei der Beurteilung des Forschungsvorhabens und der Methodik die gleichen Maßstäbe anlegen wie sonst auch.

    Wie man sowas finanziert bekommt – da hab ich leider keine Ahnung ;)

  8. Kathinka Best

    @Florian, besten Dank für deinen Kommentar! [Per Email wurde ich - entgegen meiner Erwartungen - nicht darüber informiert, daher die späte Antwort.] Die Qualitätssicherung wäre also gelöst, wenn man Strukturen zu häufig zitierten Top-Journals aufbaut, nicht wahr? Wie bewertet ihr die Idee insgesamt? Pluspunkte, Schwächen?? Wenn die Idee gut ist, wird sie auch finanziert werden ;)

  9. Kathinka Best

    PS: ich meinte … analoge Strukturen…. (Z.2)

    • @Kathinka: Ja, für ein Journal das negative Resultate veröffentlichen will müssen die gleichen qualitativen Standards gelten wie für eines das positive Resultate veröffentlicht. Ansonsten ist das wissenschaftlich wertlos. Ich muss mich ja auch bei einem negativen Resultat darauf verlassen können, dass die Forscher keinen Unsinn gemacht haben, wenn sie z.B. rausgefunden haben, dass man mit Methode X das Molekül Y nicht herstellen kann.

      “Wenn die Idee gut ist, wird sie auch finanziert werden ;)”

      Ach, das wäre schön wenns immer so wäre ;) Aber eine gute Idee allein reicht leider noch nicht. Wenns um Förderung geht, spielt immer auch Politik ne wichtige Rolle.

  10. Kathinka

    Ja das stimmt, Florian. Und mir persönlich würde es sehr gut gefallen, wenn sich Deutschland per qualitativ hochwertiger non-significance-Datenbank dem häufig propagierten Manko der fehlenden Fehlerkultur stellen würde! …vielleicht als Gegenspieler zur Politik ;-) Man stelle sich nur vor, Deutschland wäre wieder das Land der Ideen…