Zettmanns Weblog

Ich arbeite als Wissenschaftler vor allem mit biomedizinischen Daten. Und ich lese Aufsätze, die ihrerseits meist quantitative Daten enthalten. Zudem analysiere ich selbst Daten, die in anderen Aufsätzen stehen und fasse sie zusammen.

Eine Meta-Analyse in PLoS Online nimmt sich nun der Frage an, wie verbreitet das Fälschen, das Erfinden und Zurechtbiegen von Ergebnissen in der Wissenschaft ist. Dazu verwendet die Autorin 21 Studien mit Befragungsdaten.

Im Schnitt rund zwei Prozent der befragten Forscherinnen und Forscher räumen ein, schon einmal an der Manipulation von Daten beteiligt zu sein. Zwölf der Studien erkundigen sich danach, ob die Befragten von anderen Forschern wissen, die betrogen haben. Das wollen zwischen 5 und 33 Prozent schon einmal beobachtet haben.

Diese zweite Zahl wirkt allerdings künstlich aufgebläht und damit gewichtiger als sie eigentlich ist. Wahrscheinlich ein Phänomen abhängiger Daten: Wenn in einer Abteilung zehn Leute nach wissenschaftlichem Fehlverhalten gefragt werden, antworten drei, ja, davon wüssten sie etwas. Alle drei gehen mit ihren Angaben in die Gesamtzählung ein, meinen aber womöglich ein und dasselbe Fehlverhalten von ein und derselben Person. Ihre Angaben sind also abhängig – und blähen das Gesamtergebnis auf.

After pondering on pseudoscience I stumbled across a debate recently emerging in some science blogs (Tiefes Leben, pharyngula, partial immortalization).

The bloggers discuss a paper on biochemical stuff (I am not familiar with at all), published in the journal Proteomics (2008 Jan 23, DOI: 10.1002/pmic.200700695). They questioned its title, its abstract and all the rest of its content. They tore it apart, smashed it to pieces, made fun of the “mighty creator” the authors refer to explaining their “evidence”.

Finally, pharyngula got an email response by one of the authors feeling sorry. Because of all the mistakes he had requested the editorial board of Proteomics to retract the paper. In the meantime though, even a charge of plagiarism (pdf) has evolved.

The bloggers ask some very important questions: What went wrong in the review process? How come this creationist crap has made it into a so-called peer-reviewed science journal? Is it possible to distinguish the good from the bad and the fraudulent by just reading the title and the abstract?

Right now I just have an answer to the latter question: It’s almost impossible so at least in research papers on medical subjects, either randomized controlled trials, observational studies or any other design. They enclose difficult methodological issues and statistical decision making. As a result, these papers are prone to (intended?) inconsistencies between the nice abstract and the incorporated empirical evidence.

A little debate in the German Blogosphere (kamenin, Wissenswerkstatt, Kritische Masse, Plazeboalarm, zettmann) inspires me to render some associations on pseudoscience.

The debate was fueled by the wonderful piece of “silly research” written by Sam Shuster (Sex, aggression, and humour: responses to unicycling) made available to the broader scientific community via the British Medical Journal.

The arguments circle around the reception of Shusters work by science journalists, especially in the printed press. Did they miss the point? And why? Why didn’t they recognize the piece as silly and purposefully beyond any scientific standard? Eventually, the debate touches broader questions: What is good science, what is mock or pseudoscience? And: Is it possible to distinguish one from another?

A recent study in the BMJ investigated “Financial ties and concordance between results and conclusions in meta-analyses” on antihypertensive drugs. The authors concluded “that financial ties to one drug company are not associated with favourable results but are associated with favourable conclusions”. Journalists love conclusions to be conveyed on to the public. The pharmaceutical companies and their writers do know that for sure. So they push up the results a bit. How’d one recognize whether the interpretation of a single study is pushed up or not? Would scientists see through this all the time?

Besides that you can layout the design of a drug trial to serve your purpose: “Assessing therapeutic efficacy in a progressive disease: a study of donepezil in Alzheimer’s disease“, the AWARE-study is a good example for that. Get a group of Alzheimer patients. Let them take Donepezil for 24 weeks. Then decide whether the treatment was successful or not. Send the successful patients home, exclude them from the trial. Randomise the remaining (so far unsuccessful) patients into a drug and a placebo group. Get the result: Patients in the drug group do benefit or remain stable, patients in the placebo group do decline. (Remember: All patients were getting the drug for 24 weeks prior to randomisation. So they were used to the drug. After randomisation the placebo patients were deprived of the drug – and performed worse. No wonder, as the study uses an CNS-active agent!). Then have your apologists communicate the argument into the world “that you’d miss the late responders if you terminate treatment to early”. Good science? Bad science? Pseudoscience?

Finally another example. This time I was involved myself being charged as a pseudoscientist by another researcher: A story in DER SPIEGEL and a corresponding review on the treatment evidence of cholinesterase inhibitors on Alzheimer’s disease carried out by our research group in the Department of Primary Medical Care has sparked a fierce discussion inside the scientific community and beyond. One part of the scientific community hailed and welcomed our work. Others were not amused. Some professors argued: “Why did you target just the old and weak?” Others said: “Why us, the psychiatrists? The cardiologists don’t do any better regarding the quality of their evidence.” The most angry statement condemned our paper as pseudoscience: The kind of irresponsible pseudoscience demonstrated in this paper only fuels this perverse zeitgeist (refusing patients available treatment – annotation by the author).

Once again: What is good or bad science? What is mock or pseudoscience? I think, it’s very hard to distinguish, even for scientists themselves, let alone science journalists. Reducing the answer to some criteria like objectivity-intersubjectivity, replicability, explicity or taxonomy does make it easier (at times). It seperates the wheat from the chaff (at times). Sometimes it’s really easy to decide what a smart paper you’ve just read (as it is the case with Shusters observations). Sometimes it is impossible to figure out what’s between the lines because concealment and camouflage are techniques professionally used in the scientific community and in the research papers published. Hence even reviewers and publishers have difficulties to separate the good from the bad and the fraudulent.

Die (öffentliche) Diskussion in Deutschland über die modernen Anti-Dementiva (Cholinesterase-Hemmer) begann mit einer Meldung im SPIEGEL im August 2004. Im Zuge unserer systematischen Übersichtsarbeit zur Wirksamkeit der Medikamente Donepezil, Rivastigmin und Galantamin gab ich zu Protokoll: “Ich würde die Medikamente meiner Oma nicht geben”, denn die Studien strotzen vor methodischen Mängeln, die nachgewiesenen Effekte sind klein und ihr klinischer Nutzen ist sehr umstritten.

Der Aufschrei bei Psychiatern, Gerontologen, der Alzheimer-Gesellschaft und industrie-finanzierten Lobby-Vereinen wie der Hirnliga e.V. war groß.

• “Warum stürzen Sie sich gerade auf die Alzheimer? Diese Menschen kriegen sowieso schon so wenig!”

• “Sie verunsichern die Patienten.”

• “Bei den Kardiologen ist die Datenlage doch auch nicht anders!”

• “Ein Schmarr’n.”

Als die Ergebnisse unserer Arbeit im British Medical Journal erschienen, verschärfte sich der Ton zunächst noch einmal: David G. Wilkinson, persönlich betroffen, weil wir eine seiner Galantamin-Studien kritisiert haben, verstieg sich zu diesen Sätzen:

“To paraphrase Oscar Wilde this kind of review panders to the cynics who know the price of everything but the value of nothing.[...] If this stance is also taken by the similar committee in Germany the Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWIG) it will be a triumph for the English and German Generals and a complete betrayal of those suffering in the trenches yet again. The kind of irresponsible pseudoscience demonstrated in this paper only fuels this perverse zeitgeist.”

Inzwischen hat das IQWiG seinen Vorbericht veröffentlicht. Das Institut bewertet zwar die methodische Qualität der Studien ähnlich kritisch wie wir – es kommt aber am Ende zu einem deutlich freundlicheren Fazit. In unserer Stellungnahme zum Vorbericht haben wir darauf hingewiesen: Es ist ein Widerspruch, die Studien nach strengen Regeln methodisch zu bewerten, dann aber die Ergebnisse der methodischen Bewertung bei der Einschätzung der Wirksamkeit außen vor zu lassen.

Wir warten gespannt auf den Endbericht.