Der ungeduldige Leser wird auf den Kern der nachfolgenden Diskussion hingewiesen, ohne den die ganze übrige Diskussion gegenstandslos wäre. Die Frage der Anwendbarkeit der sog. locf-Methode zur Beschaffung fehlender Erhebungsdaten:
Bei der Erhebung von statistischen Daten über die Auswirkung von Behandlungen auf eine Menge von Testobjekten entstehen bisweilen Situationen, in denen die vorgesehene Behandlung an einem einzelnen Testobjekt nicht fortgeführt werden kann. Dadurch entsteht für die gesamte Erhebung Datenverlust. Die Streichung des betroffenen Testobjektes aus der Erhebung bedeutet (unzulässige) Manipulation der vorhandenen Daten durch Streichung bereits erhobener Daten. Stattdessen wird in der Dissertation die sog. locf-Methode verwendet, die bei Behandlungsabbruch für ein einzelnes Testobjekt fehlende weitere Daten ohne Erhebung ergänzt. Beide Möglichkeiten bedeuten eine Manipulation der durch Erhebung (Messung) gewonnenen Daten. Die Zulässigkeit der Ergänzung von Erhebungsdaten mit der locf-Methode wird von den Diskussionsspartnern im Teil „Zu II“ kontrovers diskutiert.

Prof. Dr. Sundrum und Prof. Dr. Sobiraj

Stellungnahme zum Kommentar von Prof. Dr. Gerhard Bruhn bezüglich der Dissertation von Frau Dr. Christina Werner

Sehr geehrter Herr Kollege Bruhn,

vielen Dank, dass Sie sich mit der Dissertation von Frau Dr. Werner auseinandergesetzt haben. Jeder Diskurs und jeder Disput, der zu einem Erkenntnisgewinn beiträgt, ist hilfreich und uns willkommen. So wie es Ihnen frei steht, gegen die gewählte statistische Vorgehensweise einer Dissertation Einwände zu erheben, so selbstverständlich ist es, dass Sie uns Gelegenheit zu einer Gegenposition geben. Dabei kann die Vorgehens- und Argumentationsweise, mit der Sie die Stellungnahme füllen, nicht ausgespart werden.

Zu I. Allgemeine Bemerkungen

Der Aufhänger für Ihre Einwände bildet ein Zitat aus den Mitteilungen der GGTM, wonach „Frau Werner…mit ihren Ergebnissen die Wirksamkeit der Homöopathie“ belegt. Diese Aussage wurde in dieser Form von Frau Dr. Werner nie getätigt und auch nicht gegenüber der GGTM autorisiert. Einwände an einen nicht geäußerten Satz zu koppeln, ist unredlich, weil es fälschlicherweise einen Zusammenhang suggeriert. Während es in der Dissertation von Frau Werner explizit nicht um eine Grundsatzdebatte um die Wirksamkeit der Homöopathie geht, erwecken Sie Ihrerseits den Eindruck, dass sich Ihre Motivation für Ihre Einwände vorrangig aus grundlegenden Überzeugungen speist. Wie sonst ist Ihre Behauptung zu erklären: „Jedes Ergebnis über die Wirksamkeit der Homöopathie – allgemein oder in irgendeinem Spezialfall – steht im Widerspruch zu den bekannten Aussagen der Naturwissenschaft.“

Pharmakologie, Human- und Tiermedizin bedienen sich einer Vielzahl von Arzneimitteln in Konzentrationen, wie sie auch in der Homöopathie zum Einsatz kommen. Ein absoluter Widerspruch zur Naturwissenschaft ist konstruiert und entbehrt einer wissenschaftlich kohärenten und validen Argumentation. Anders ist es im Fall von Hochpotenzen. Rein rechnerisch beinhalten homöopathische Mittel erst ab der Potenz D23 (Lohschmidt´sche Zahl) keine Bestandteile der Urtinktur mehr. In der vorliegenden Arbeit wurden größtenteils Tief und Mittelpotenzen der Homöopathika eingesetzt, so dass davon ausgegangen werden kann, dass die Urtinktur, wenn auch in stark verdünnter Form, in den eingesetzten Mitteln vorhanden ist und Wirkungen (welcher Art auch immer) keineswegs im Widerspruch zu bekannten Aussagen der Naturwissenschaft stehen.

Weiter heißt es in Ihren Ausführungen: „Veröffentlichungen, dazu zählen auch Dissertationen (zu deutsch: Streitschriften), sind dazu da, von der gesamten wissenschaftlichen Gemeinschaft auf Stichhaltigkeit überprüft zu werden, nicht nur von den Fachkollegen im engeren Sinne“ und „Fachleute anderer Bereiche haben durchaus eine wissenschaftliche Kontrollfunktion“. Wir anerkennen die Bedeutung, welche der kritischen Prüfung durch Experten aus anderen Bereichen beizumessen ist. Wir freuen uns, wenn sich andere Wissenschaftler die Mühe machen und uns auf mögliche Unzulänglichkeiten, sei es bei der Versuchskonzeption, der statistischen Auswertung oder bei den Schlussfolgerungen hinweisen; denn dies ist eine unermessliche Quelle des Erkenntnisfortschrittes. Im Bewusstsein der eigenen Begrenzungen haben wir uns bemüht, bereits bei der Versuchskonzeption externe wissenschaftliche Fachkompetenz einzubeziehen. Beantragt und bewilligt wurden Finanzmittel für die Etablierung eines Projektrates (siehe hierzu Seite 28 der Dissertation), der sich aus Fachvertretern der Allopathie und der Homöopathie sowie der Milchhygiene zusammensetzte und im Verlauf der Studie dreimal tagte.

Darf man die Namen der hinzugezogenen Fachleute erfahren? Auch Jacques Benveniste hatte sich solcher Komitees bedient und konnte seine sensationellen Ergebnisse vor anderen Komitees schließlich nicht mehr reproduzieren.

Weiterhin wurde die Auswertung der Daten nach Beendigung des praktischen Studienteils in Zusammenarbeit mit einem Diplom-Statistiker (Herrn Rainer Lüdtke von der Karl und Veronica Carstens Stiftung, Essen) vorgenommen, um den hohen Anforderungen einer Wirksamkeitsstudie Rechnung zu tragen und „seitens der Mathematik bei Anwendungen auf die Einhaltung der vorgegebenen „Spielregeln“ zu achten“.

Rückblickend erachten wir die Etablierung des Projektrates für sehr hilfreich und als ein zukunftsweisendes Verfahren, insbesondere bei strittigen Themenstellungen. In diesem Zusammenhang sei noch darauf hingewiesen, dass am Anfang der Untersuchungen die Frage im Vordergrund stand, ob und inwieweit die gesetzlich verankerte Präferenz hinsichtlich des Einsatzes von Homöopathika in der ökologischen Tierhaltung (EWG Nr. 1804/1999) gerechtfertigt ist. Wir haben versucht, uns dieser Frage möglichst unvoreingenommen zu widmen und mittels des Projektrates die eigene Neutralität strukturell zu festigen. Wir weisen deshalb jedweden offen oder unterschwellig geäußerten Verdacht hinsichtlich einer intentionalen Vorgehensweise zurück.

Bei allem Respekt vor der Disziplin der Mathematik erlauben wir uns ferner den Hinweis, dass der Mathematik trotz der zweifellos sehr wichtigen und relevanten Aufgaben nicht der alleinige Anspruch zuerkannt werden kann, über die Plausibilität und Kohärenz von naturwissenschaftlichen Versuchen zu entscheiden.

Danke. Statistik ist nun mal ein Teilgebiet der Mathematik. Vielleicht haben Sie keine rechte Vorstellung davon, dass Mathematiker geradezu darauf trainiert werden, auch kompliziertere Sachverhalte in scheinbar abgelegenen Anwendungsgebieten zu analysieren. Sie können gern mal einen Blick über den Zaun werfen: Etwa: Electrodynamics oder Myron W. Evans' Grand Covariant Unified Field Theory.

Falsche Berechnungen führen zu falschen Ergebnissen und sind deshalb zu korrigieren. Hier geht es aber nicht um falsche Berechnungen, sondern um die Frage nach der richtigen statistischen Methode. Über die richtige Methodenwahl lässt sich streiten.

Besser gesagt:
Es geht um die Richtigkeit der verwendeten statistischen Methode, nicht um die Wahl zwischen unterschiedlichen Methoden.

Dabei ist die Tatsache nicht neu, dass es zwischen den Statistikern sehr unterschiedliche Auffassungen gibt. Sie selbst haben in einer ersten Mail gegenüber Frau Dr. Werner ein statistisches Verfahren vorgeschlagen, und nach der Beratschlagung mit einem Kollegen davon wieder Abstand genommen. Von Eindeutigkeit bei der Anwendung von statistischen Methoden kann also keine Rede sein. Zu der bei der Auswertung angewandten Statistik äußern wir uns weiter unten.

zu II. Bemerkungen zum Auswertungsverfahren der Dissertation

Wie von Ihnen richtig zitiert, heißt es den Arbeitshypothesen: „Das homöopathische und das chemotherapeutische Behandlungsverfahren sind der Anwendung eines Placebos bei der vollständigen Heilung eines erkrankten Euterviertels deutlich überlegen.“ Wenn Sie diese Hypothese und die Dissertation richtig gelesen hätten, hätte Ihnen auffallen können, dass es nicht Ziel der Arbeit war, die Wirkungsweise einzelner homöopathischer Arzneimittel zu überprüfen, sondern die Anwendung und Wirksamkeit des homöopathischen Behandlungsverfahrens im Sinne der klassischen Homöopathie im Fall der akuten katarrhalischen Mastitis des Rindes.

Habe ich irgendwo etwas über die „Wirkungsweise einzelner homöopathischer Arzneimittel“ gesagt?

Das angewendete homöopathische Behandlungsverfahren wird in der Arbeit sehr detailliert beschrieben (Kap. 3.6.1 und 3.7.1) und setzt sich aus mehreren Arbeitsschritten zusammen.

Daran habe ich keinen Anstoß genommen.

Die Darstellung und Interpretation der erzielten Ergebnisse sind sehr eng an das Verfahren sowie die Ein- und Ausschlusskriterien der Versuchstiere angelehnt. Eine Verallgemeinerung der Ergebnisse hinsichtlich einer generellen Wirksamkeit von Homöopathika verbietet sich. Jeder, der in diese Richtung argumentiert, setzt sich dem Vorwurf intentionalen Agierens aus.

„Der Behandlungsgruppen-)Wechsel erfolgte somit symptomabhängig.“
Der von Ihnen kritisierte Behandlungsgruppenwechsel erfolgte im Sinne eines Therapieversagens symptomabhängig. Die Kriterien, die zu einem Wechsel führten, waren von vorneherein in der Methodik festgelegt und damit transparent verankert.

Ihre Schlussfolgerung, „Das heißt doch wohl, dass, wenn die Homöopathie eine erhebliche Zustandsverschlechterung bewirkt hatte, durch Wechsel zur Chemotherapie nachgeholfen wurde.“, enthält falsche Aussagen und die Unterstellung einer Manipulation.

Nicht unbedingt: Schlicht die Unterstellung einer Fehlbeurteilung der mathematischen Möglichkeiten der locf-Methode in der Dissertation (s.o.) tut es auch. Noch einmal:
Durch die vorgenommenen Behandlungswechsel wird das Endergebnis (Tag 56) irreparabel verfälscht. Denn diese Wechsel in der Behandlungsart an 26,5 % der Objekte, die das Endergebnis sehr wohl erheblich beeinflussen können, werden einfach unterschätzt.

Dass von der Anwendung eines homöopathischen Mittels eine negative Wirkung (kausale Zusammenhänge) ausgeht, kann bei einer Zustandsverschlechterung weder bewiesen noch ausgeschlossen werden. Interessant ist aber, dass Sie hier der Homöopathie eine negative Wirkung unterstellen, wo Sie doch diesen Mitteln (siehe oben) jegliche Wirkung absprechen. Was gilt denn nun, Wirkung oder keine Wirkung?

Entgegen Ihren Mutmaßungen beschränkte sich der Behandlungsgruppenwechsel nicht auf die Homöopathie-Gruppe, sondern wurde ebenfalls bei Auftreten der festgelegten Kriterien in den beiden anderen Behandlungsgruppen (Chemotherapie und Placebo) durchgeführt. Ihre Unterstellung, dass den homöopathisch behandelten Tieren, die eine Zustandsverschlechterung im Laufe der Therapie zeigten, durch den Behandlungsgruppenwechsel zur Symptombesserung „verholfen“ wurde, wird allein durch die angewandte Auwertungsmethode entkräftet.

Der statistischen Auswertung der Daten liegt das Intention-to-treat-(ITT)-Prinzip zugrunde („Als Auswertungspopulation dienten alle in die Studie eingeschlossenen Kühe, unabhängig davon, ob sie mit der zugeteilten Therapie bis zum Ende des Beobachtungszeitraumes behandelt wurden oder nicht“; siehe Kap. 3.12). Dieses wird in der Literatur als „das primäre Auswertungsverfahren für klinische Studien“ bezeichnet (Meyer, 1999) und stellt „das beste verfügbare Verfahren zur Vermeidung einer Auswertungsbias und zur Abschätzung von Therapieeffekten“ dar (Kleist, 2009). Neben der Vergleichbarkeit der Patientengruppen bleibt auch die Teststärke erhalten, da alle Patienten in der Auswertung berücksichtigt werden.

Die Quelle [Meyer, 1999] gibt die Autorin nicht an. Wie oben begründet: Die ITT-Methode ist nichts als ein "Notbehelf", um auch dann zu Ergebnissen zu kommen, wo man wegen Datenverlust besser abbrechen sollte. Griffige Bezeichnungen (ITT) täuschen hier eine statistische Sicherheit vor, die de facto nicht zu haben ist. Die ITT-Methode lässt sich vertreten in Anwendungsfällen mit gruppenneutralen Abbruchkriterien. Die ITT-Methode ist dagegen äußerst bedenklich bei den in der Dissertation verwendeten symptomabhängigen Abbruchkriterien (1) − (5) auf.

Würde eine Auswertung unter Ausschluss von Therapieabbrechern (hier: Gruppenwechsler) erfolgen, würde die einem Bias unterliegen, der oft zu Gunsten der Testbehandlung ausfällt (Kleist, 2009).

Durch die Anwendung des ITT-Prinzips werden die Behandlungseffekte also eher unterschätzt.

Wie oben begründet: Was hier tatsächlich unterschätzt und ignoriert wird, ist der bei Therapie-Fortsetzung zu erwartende katastrophale Endzustand, der (im vorliegenden Einzelfall) die Wirksamkeit der angewendeten Therapie tatsächlich charakterisiert. Das gerade in 26,5 % der Fälle, gerade in den Fällen, welche vermutlich die meiste Information enthalten.

„Gruppenwechsler wurden im Sinne eines Therapieversagens dabei nach der last observation carried forward (locf) Methode ausgewertet, d.h. sie wurden mit dem letzten verfügbaren Befund vor ihrem Gruppenwechsel bis zum Ende der Untersuchung mitgeführt.“ An einem Beispiel verdeutlicht: Kuh X ist durch die Randomisation in die Gruppe der Chemotherapie gefallen und wird entsprechend dem Studienprotokoll beprobt und behandelt. Nach einer Woche (Untersuchungstag 7) hat sich der Krankheitszustand nicht gebessert und der Laborbefund der Milchprobe des erkrankten Euterviertels weist keinen Keimgehalt aus. Laut Protokoll wird dieses Tier als Therapieversager der Chemotherapie-Gruppe identifiziert und ab dem Tag 8 mit Homöopathika weiter behandelt. In die Auswertung geht diese Kuh für alle, dem Tag 7 folgenden Untersuchungszeitpunkte mit den Werten des Tages 7 (und damit mit dem letzten Wert in der Chemotherapie-Gruppe) entsprechend der locf-Methode ein. Es spielt für die angewendete Auswertungsmethode keine Rolle, welche Behandlung sich an den Ausschlusszeitpunkt anschließt, da der Gruppenwechsel einem Therapieversagen in der randomisierten Behandlungsgruppe entspricht und im Sinne des ITT auch dementsprechend ausgewertet wird. Damit bleiben in der Auswertung die von Ihnen geforderten „mathematisch zulässigen festen Behandlungsgruppen“ bestehen, ohne die Therapieversager aus der Auswertung nehmen zu müssen. Somit wird einer „Datenmanipulation und Selektion“ bestmöglich entgegengewirkt, die allerdings bei einer Entfernung der Therapieversager aus der Auswertung stattgefunden hätte!

Die Mängel der ITT-Methode für den Fall symptomabhängiger Abbruchkriterien wurden oben angegeben. Beide Möglichkeiten, Ausschluss von erhobenen Daten und Hinzufügen von de facto nicht erhobenen Daten, bedeuten in gleicher Weise eine unzulässige Veränderung an dem erhobenen Datenmaterial.

Als problematisch wird die locf-Methode dann beschrieben, wenn Studienabbrecher aus den verschiedenen Behandlungsgruppen aufgrund unterschiedlicher Gründe (starke Nebenwirkungen, aber gutes Ansprechen auf die Therapie vs. Zustandsverschlechterung) ausscheiden, wodurch ein nicht unerheblicher Bias provoziert würde. Da dies in der vorliegenden Arbeit nicht der Fall ist und die Drop-Outs vergleichbar sind (nur Stagnation bzw. Zustandsverschlechterung in allen 3 Gruppen), wurde die locf-Methode als gute Analysemethode angesehen, die auf jeden Fall besser ist, als Therapieversager aus der Auswertung einfach auszuschließen.
Dass „die möglichen Konsequenzen nur sehr unzureichend untersucht sind“, kann nicht der vorliegenden Arbeit angelastet werden, zumal nach Meyer (1999) „keine Auswertungsstrategie identifiziert werden kann, die unter allen betrachteten Situationen, d.h. allen Kombinationen von Dropoutmechanismen, Verläufen und Dropoutraten sowohl bezüglich das Fehlers 1. Art als auch bezüglich der Power ideal wäre“. Zusammenfassend stellen wir fest, dass ein von Ihnen angemahnter „Verfahrensfehler“, der dazu geeignet wäre, die Ergebnisse der Studie in Ihren Augen als „wissenschaftlich irrelevant“ und als „Artefakt“ abtun zu können, nicht existent ist.

Ihre Kritik läuft ins Leere, da Sie wesentliche Aspekte der Arbeit unberücksichtigt lässt und sich auf Aussagen stützt, die in der Dissertation von Frau Dr. Werner gar nicht gemacht wurden. Sie ist zudem inkonsistent und intentional. Ihre Kritik ist nicht konstruktiv, weil sie nicht nur unzulässige Pauschalierungen enthält, sondern auch jeglichen Hinweis vermissen lässt, wie denn in dem konkreten Fall optional anders hätte vorgegangen werden können oder müssen, um die Ergebnisse statistisch auszuwerten.

Wenn es Ihnen wirklich um eine Korrekturfunktion geht, wie Sie es am Anfang Ihres Einwandes hervorheben, müssten Sie den Nachweis erbringen, dass Sie ihre statistische Expertise, die zu beurteilen uns nicht zusteht, auch und vor allem auf die zahlreichen fehlgeleiteten Studien im Zusammenhang mit der Wirksamkeitsprüfung von Allopathika richten. Solange Sie sich einseitig auf Arbeiten im Zusammenhang mit homöopathischen Mitteln beschränken, laufen Sie Gefahr, sich dem Vorwurf der Einseitigkeit auszusetzen.

Danke für die Anregung. Dass auch woanders Fehler gemacht werden, die ich nicht moniert habe, ist doch nun wirklich kein gutes Argument gegen meine Kritik im vorliegenden Fall. Die Welt der Wissenschaft ist voll von allerlei Fehlern. Man kann nur hoffen, dass eine Mehrheit davon entdeckt wird, bevor sie die Basis von darauf aufbauenden Folgearbeiten werden. Ich habe auf meiner Website allerlei zusammengetragen, was man beim Lesen an Merkwürdigkeiten im Web finden kann. Der Zufall und mein Interesse an dem Thema Homöopathie führten mich gerade auf die besprochene Arbeit. Andere Wissenschaftler werden hoffentlich andere Arbeiten genau lesen und gegebenenfalls ihre Monita mit guten Gründen belegen. GWB.

Mit freundlichen Grüßen
Prof. Dr. Albert Sundrum, Prof. Dr. Axel Sobiraj

Literatur

Kleist, P. (2009): Das Intention-to-Treat-Prinzip. Schweiz Med Forum 9(25): 450-453.
Meyer, K. (1999): Intention-to-treat: Umgang mit fehlenden Werten bei sich fortlaufend verschlechternden Zielgrößen in Therapiestudien.
                http://archiv.ub.uniheidelberg.de/volltextserver/volltexte/1999/273/pdf/273_1.pdf
Antwort des Servers: Die von Ihnen eingegebene Internetadresse archiv.ub.uniheidelberg.de konnte nicht gefunden werden.

Links

        Dissertation
        Zu den kommentierten Anmerkungen von R. Lüdtke
        Zum Kommentar von G.W.Bruhn

        Zur Homöopathie-Seite