Wissenswert: Gute Forschung

Foto: flickr.com/Karen Roe, Rafael Robles L, Lars Kasper, NASA Goddard Photo and Video; Montage: Marc Patzwald, Teaserfoto: flickr.com/poniblog

Gen-Mais sorgte erneut für Furore: In einer Studie will der französische Wissenschaftler Gilles-Eric Séralini herausgefunden haben, dass gentechnisch veränderter Mais giftig sei. Die Meldung löste sofort eine Medienwelle aus, das Thema gentechnisch veränderter Lebensmittel gerat wieder in die öffentliche Diskussion. Mittlerweile kritisieren viele Wissenschaftler die französische Studie, sie entspreche nicht den wissenschaftlichen Standards. In diesem Wissenswert soll der Frage auf den Grund gegangen werden, was die Qualität wissenschaftlicher Forschung und Studien überhaupt ausmacht.

Leistungsdruck gibt es nicht nur im Studium oder zwischen Unternehmen. Auch in der Wissenschaft herrscht ein immenser Druck, neue und vor allem bedeutsame Ergebnisse zu liefern. Und das möglichst vor der unmittelbaren Konkurrenz. Damit Forschungsergebnisse und die zugehörigen Publikation gut dastehen, kann es schon einmal vorkommen, dass die Qualität der Studie künstlich angehoben wird.

Durch eine Studie ist Gen-Mais erneut in die Diskussion geraten. Foto: Richard von Lenzano, pixelio.de. Teaserbild: Andreas Dengs

Auch die Qualität von Séralinis Genmais-Studie wird nun von vielen Wissenschaftlern angezweifelt. Denn wohl das wichtigste Gütesiegel für wissenschaftliche Studien ist die vollständige Angabe aller relevanten Daten – die in der französischen Studie teilweise fehlten. Zwei Jahre lang fütterte der Forscher Ratten mit genmanipuliertem Mais, die Ratten entwickelten daraufhin, so die Ergebnisse, Tumore oder starben. Allerdings fehlten in der Publikation Angaben über die verabreichte Futtermenge, das Körpergewicht der Ratten sowie genetische Befunde, die auf Veranlagungen zu Tumoren hätten schließen lassen können.

Eine Studie muss designend werden

Natürlich unterscheiden sich die Studien verschiedener wissenschaftlicher Fachrichtungen, schließlich forschen Physiker anders als Mediziner. Doch prinzipiell gibt es für wissenschaftliche Studien einige grundlegende Qualitätskriterien; wie zum Beispiel das Studiendesign, das der wissenschaftlichen Fragestellung angemessen sein sollte. Möchte man die Wirksamkeit eines Medikaments testen, reicht es zum Beispiel nicht aus, Patienten nach ihrer persönlichen Einschätzung zu fragen. Im besten Fall teilt man die Patienten in zwei Gruppen auf. Gruppe A bekommt das Medikament, Gruppe B wird ein Placebo verabreicht, denkt aber, sie schluckt ebenfalls das Medikament. Durch solche Kontrollgruppen lassen sich die Ergebnisse miteinander vergleichen. Auch in der französischen Studie gab es Kontrollgruppen. Zehn Ratten fütterten die Forscher mit genmanipuliertem Mais, weitere zehn Ratten wurden mit herkömmlichem Mais gefüttert.

Durch eine Änderung kann aus rot schnell blau werden. Transparenz wissenschaftlicher Ergebnisse ist wichtig. Foto: Rolf van Melis, pixelio.de

Bei diesen Kontroll- oder Testgruppen spielt ebenfalls die Anzahl der Probanden eine wichtige Rolle – seien es Menschen, Versuchstiere oder Bakterien in einer Zuchtschale. Der wesentliche Punkt dabei: Die Wissenschaftler müssen ihre Versuche oft genug durchführen, damit eine statistisch haltbare Aussage aus den Einzelergebnissen gezogen werden kann. Wird bei einer großen Zahl von Probanden, etwa 200, immer das gleiche Ergebnis erzielt, desto höher ist die Wahrscheinlichkeit, dass das Ergebnis stimmt. Andersherum – bei einer kleinen Probandenzahl von etwa 10 – können positive Ergebnisse auch einfach Zufall sein.

Qualitätskriterien für die Forschung

Eine Art Kriterienkatalog für Qualität in wissenschaftlichen Studien hat deshalb die Deutsche Forschungsgemeinschaft (DFG) festgelegt: Mit den sogenannten „Regeln zur Sicherung guter wissenschaftlicher Praxis“ will die Institution saubere Wissenschaft gewährleisten. Hierbei handelt es sich allerdings mehr um Handlungsempfehlungen als um Reglementierungen. Die Transparenz der Methodik, Daten und Fakten ist nur ein Kernpunkt der DFG-Empfehlungen. Auch sollten die Versuchsdaten mindestens zehn Jahre nach Veröffentlichung aufbewahrt werden – zu Überprüfungszwecken – und alle Studienautoren die Verantwortung für die Ergebnisse tragen.

Für Fälle, in denen Forscher das wissenschaftliche Fehlverhalten eines Kollegen mitbekommen, hat die DFG ein besonderes „Amt“ eingeführt: den sogenannten Ombudsmann. Dieses Gremium berät und unterstützt (angehende) Wissenschaftler, die von ihrem Doktorvater unwürdigend behandelt werden oder helfen, wie man gegen wissenschaftliches Fehlverhalten von Kollegen vorgehen kann. Ombudsmänner gibt es nicht nur bei der DFG, sondern auch an jeder Universität. An der TU Dortmund wird diese Kommission von Prof. Dr. Dietrich Wegener geleitet. Zusammen mit sieben anderen Kommissaren kümmert er sich um die Belange von Studenten in Fragen guter wissenschaftler Praxis.

Selbstkontrolle der Wissenschaft

Bevor eine Studie letztlich in einer Fachzeitschrift veröffentlicht wird, durchläuft sie in der Regel ein sogenanntes Peer-Review-Verfahren. Bei vielen Fachzeitschriften ist das mittlerweile Pflicht, federführend sind hier vor allem die Fachzeitschriften Science und Nature. Mindestens zwei wissenschaftliche Gutachter überprüfen die Studie auf inhaltliche Mängel, fehlende Daten oder sogar Täuschungen. Erst wenn die Gutachter ihr „OK“ geben, wird eine Studie publiziert. Auch die französische Mais-Studie unterlag einem Peer-Review-Prozess. Gerade deshalb wundern sich viele Wissenschaftler, weshalb gewisse Fehler nicht entdeckt wurden.

Im Peer-Review-Verfahren kontrollieren Wissenschaftler die Ergebnisse ihrer Kollegen. Grafik: Gerd Altmann, pixelio.de

Vorsätzliche Täuschungen zu entdecken, ist selbst für Gutachter nicht leicht. Deshalb kann es trotz Review-Verfahren passieren, dass Studien mit manipulierten Ergebnissen an die Öffentlichkeit geraten. Hier greift dann ein ganz anderer Mechanismus: die Selbstkontrolle der Wissenschaft. Wissenschaftler gleicher oder anderer Fachdisziplinen werden auf mangelhafte Studien aufmerksam und kritisieren, meist öffentlich, diese Mängel. Oft folgt daraus, dass andere Institute diese Ergebnisse dann ebenfalls untersuchen. Das passiert auch gerade mit der Gen-Mais-Studie durch die europäische Behörde für Lebensmittelsicherheit. Stellen sich im Nachhinein Studien als falsch oder sogar gefälscht heraus, können sie auch wieder zurückgezogen werden. Im Zusammenhang mit solchen „rejected papers“ gibt es seit 2010 einen Blog mit dem Namen „Retraction Watch“, den die zwei Wissenschaftler Ivan Oransky und Adam Marcus ins Leben gerufen haben. Hier dokumentieren sie öffentlich alle zurückgezogenen wissenschaftlichen Publikationen und beschreiben die dafür ausschlaggebenden Gründe.