Studien genießen sicherlich nicht den besten Ruf. Dennoch werden sie vielfältig eingesetzt und spielen auch z.B. bei politischen Entscheidungen eine beträchtliche Rolle. Ob die schlechte öffentliche Meinung berechtigt ist, wurde nun umfassend untersucht.
Dr. Roloff, Professor für Statistik an der Universität Gelsenkirchen, hat mit seinem Team im Rahmen einer groß angelegten Studie einige Hundert Studien aus verschiedensten Bereichen – etwa aus Medizin, Ernährungswissenschaften, Soziologie und Volkswirtschaft – unter die Lupe genommen. Dabei überprüfte sein Team selbst Studien, bezog aber auch bestehende Aufsätze ein, die sich mit der Qualität einzelner Studien bzw. Arten von Studien beschäftigen. Auch diese Aufsätze wurden auf Stringenz evaluiert. Nur so sei es möglich gewesen, ein umfassendes Bild über die Studiengüte zu erlangen, so Roloff.
„Das Ergebnis ist erschütternd“, sagt Roloff, „Unsere schlimmsten Befürchtungen wurden noch übertroffen.“ 66,6 % der Studien hätten so viele handwerkliche Fehler, dass sie faktisch unbrauchbar seien. Viele seien sogar vorsätzlich in eine vorgegebene Richtung gelenkt oder zumindest durch die Erwartungshaltung des Auftraggebers merklich beeinflusst worden. Solche Studien seien nicht wissenschaftlich und nützten nur den Auftraggebern, aber nicht der Menschheit. Ein weiterer Teil der Studien wiesen zumindest so viele Mängel auf, dass man erheblich an ihrer Brauchbarkeit zweifeln müsse.
In puncto Kollektivgröße, Signifikanz und Randomisierung würden immer wieder unverzeihliche Fehler gemacht. So würden oft zu kleine Kollektive betrachtet. Roloff berichtet von einer Studie aus der Sportmedizin, in der ein positiver Einfluss von Rotwein auf die Kondition von Probanden nachgewiesen worden sei. Dabei seien nur 150 Probanden einbezogen worden. Bei späteren Untersuchungen mit größeren Kollektiven habe sich das Ergebnis stets ins Gegenteil verkehrt.
Auch würde die Signifikanz oft falsch eingeschätzt. Dabei würden bereits kleinere Abweichungen als Ergebnisse verkauft, obwohl bei so geringer Relevanz die Effekte im normalen Schwankungsbereich lägen.
Ferner würden immer wieder Korrelationen aufgezeigt, wo tatsächlich keine seien, da sich die Kontrollgruppen nicht nur in einem Merkmal unterscheiden würden, das Gegenstand der Untersuchung sei, sondern noch in entscheidenden weiteren.
Nirgends finden sich so viele Fehler, wie sie in Studien vorkommen könnten, wie ausgerechnet in Studien, führt der Professor aus. Die Studie soll noch dieses Jahr publiziert werden.
