Seit einem Jahrzehnt befindet sich die Wissenschaft in einer Replikationskrise, da die Ergebnisse vieler wichtiger Studien nur schwer oder gar nicht reproduziert werden können. Zum Beispiel die Open-Science-Zusammenarbeit veröffentlichte 2015 eine Arbeit, in der 100 psychologische Studien repliziert wurden und die ergab, dass viele Replikationen schwächere Beweise für die ursprünglichen Ergebnisse lieferten. Eine Studie veröffentlicht in Wissenschaft Bald folgte die Reproduktion von 18 ökonomischen Experimenten und stellte erneut fest, dass bis zu einem Drittel nicht reproduziert werden konnte. Es bleibt die Frage, ob die Gesundheitsökonomie vor einer Reproduzierbarkeitskrise steht, und wenn ja, was können wir dagegen tun?
Um die Reproduzierbarkeitskrise vollständig zu verstehen, muss man sich die Anreize für Autoren ansehen, die versuchen, wissenschaftliche Artikel zu veröffentlichen. Es liegt in der Natur des Menschen, Ergebnisse, die als positiv oder statistisch signifikant wahrgenommen werden, als eine bessere Aussage zu betrachten als negative oder nicht signifikante Ergebnisse. Eine häufige Erscheinungsform ist P-Hacking, das auftritt, wenn Forscher nach Effekten suchen, die unterhalb eines Schwellenwerts wie 0,05 als statistisch signifikant gelten. A aktuelle Analyse Von über 21.000 Hypothesentests, die in 25 führenden Wirtschaftszeitschriften veröffentlicht wurden, zeigen, dass dies ein Problem darstellt, insbesondere bei Studien, die instrumentelle Variablen und Differenz-in-Differenzen-Methoden verwenden. Daher stellen veröffentlichte Ergebnisse möglicherweise keine verlässliche Evidenzbasis für weitere Forschung oder politische Analysen dar, und Replikationsstudien sind eine Möglichkeit, dies zu testen.
Über die formale Hypothesenprüfung hinaus bedeutet die weit verbreitete Verwendung entscheidender gesundheitsökonomischer Ergebnisse, wie z. B. der EQ-5D-Wertesätze, dass die Reproduzierbarkeit wahrscheinlich äußerst wichtig ist; Solche Studien dienen als Input für Hunderte anderer Analysen. Es ist vielleicht nicht überraschend, dass eine der wenigen im Bereich Gesundheitsökonomie durchgeführten Replikationen über den EQ-5D-5L erfolgte Wert für England festgelegtwenn auch nicht ideal Umstände. Die Replikation sollte nicht als einmalige Maßnahme betrachtet werden, sondern als integraler Bestandteil der Entwicklung grundlegender gesundheitsökonomischer Instrumente wie Wertesätze und Krankheitssimulationsmodelle, die für so viele Forschungen von entscheidender Bedeutung sind.
Für die Disziplin stellt sich nun die Frage, wie wir die Replikation fördern und erleichtern und die Fallstricke von P-Hacking vermeiden können.
Herausgeber gesundheitsökonomischer Fachzeitschriften starteten 2015 eine Initiative mit dem Ziel, P-Hacking einzudämmen; Sie gaben eine Erklärung heraus, in der sie die Gutachter daran erinnerten, Studien zu akzeptieren, die „potenziellen wissenschaftlichen Wert und Publikationswert haben, unabhängig davon, ob die empirischen Ergebnisse dieser Studien Nullhypothesen ablehnen oder nicht“. Dies scheint der Fall zu sein hatte einige Auswirkungen, aber die Gesundheitsökonomie steht vor einzigartigen Herausforderungen. Oft besteht der Druck, nachzuweisen, dass eine Intervention kosteneffektiv ist, indem nachgewiesen wird, dass sie unter einen vordefinierten Kosten-pro-QALY-Schwellenwert fällt, was zu dem führt, was man so nennen könnte Kosteneffizienz-Schwellenwert-Hacking.
Ein Ansatz der Mount Hood Diabetes Challenge-Netzwerk bestand darin, vergleichbare Szenarien anhand verschiedener gesundheitsökonomischer Diabetes-Simulationsmodelle durchzuführen. A aktuelle Herausforderung Dazu gehörte der Vergleich von 12 verschiedenen Typ-2-Diabetes-Computermodellen, die die Auswirkungen einer Reihe von Behandlungsinterventionen auf qualitätsadjustierte Lebensjahre (Quality-adjusted Life Years, QALYs) separat simulierten. Die Variation der Ergebnisse zwischen den Modellen war erheblich, z. B. eine bis zu sechsfache Variation der inkrementellen QALYs zwischen verschiedenen Simulationsmodellen (siehe Abbildung). Diese Ergebnisse legen nahe, dass die Wahl des Simulationsmodells erheblichen Einfluss darauf haben könnte, ob eine Therapie als kosteneffektiv angesehen wird. In Kombination mit Schwellenwert-Hacking bedeutet dies, dass viele wirtschaftliche Bewertungen wahrscheinlich eher auf Interessenvertretung als auf Wissenschaft basieren.
Um mehr Transparenz zu schaffen, hat das Mount Hood Diabetes Challenge Network auch spezifische Maßnahmen erstellt Richtlinien für die Berichterstattung über wirtschaftliche Bewertungen, die Diabetes-Simulationsmodelle verwenden, um eine Replikation zu ermöglichen, und hat eine entwickelt Simulationsmodellregister. Das Register soll diejenigen, die Modelle entwickeln, dazu ermutigen, die Dokumentation an einem Ort bereitzustellen und über eine Reihe von Referenzsimulationen zu berichten. Modellierungsgruppen werden außerdem dazu ermutigt, diese Simulationen jedes Mal zu aktualisieren, wenn sich das Modell ändert. Dies bietet einen Maßstab für den Vergleich verschiedener Simulationsmodelle und für die Entwicklung der Modelle. Gesundheitsökonomische Modellregister können möglicherweise die Wissenschaft der wirtschaftlichen Bewertung verbessern, genauso wie Register für klinische Studien die Durchführung und Berichterstattung randomisierter kontrollierter Studien in der Medizin verbessert haben.
Schließlich diejenigen, die Experimente durchführen bzw quasi-experimentell Methoden können jetzt registrierte Berichte übermitteln. Diese Initiative begann in psychologischen Fachzeitschriften mit der Idee, dass Autoren das Protokoll vor der Durchführung der Studie einer Fachzeitschrift zur Begutachtung vorlegen. Wenn der registrierte Bericht nach der Prüfung akzeptiert wird, verpflichtet sich die Zeitschrift zur Veröffentlichung der vollständigen Studie, unabhängig von der Bedeutung der Ergebnisse. Registrierte Berichte sind eine Möglichkeit, die Fallstricke von P-Hacking und Publikationsbias zu vermeiden.
Mittlerweile erlauben mehr als 300 Zeitschriften registrierte Berichte, aber die Aufnahme durch wirtschaftswissenschaftliche Fachzeitschriften erfolgt nur langsam. Lebensqualitätsforschung Und Oxford Open Economics sind die einzigen Optionen für diejenigen, die gesundheitsökonomische Experimente durchführen. Hoffentlich sind diese Initiativen – zusammen mit einer Online-Petition unterzeichnet von mehr als 145 Gesundheitsökonomen – wird andere gesundheitsökonomische Fachzeitschriften ermutigen, diese Option in Zukunft anzubieten.
Die Einbeziehung registrierter Berichte und die Entwicklung gesundheitsökonomischer Modellregister sind zwei wichtige Möglichkeiten, die Gesundheitsökonomie als Wissenschaft zu stärken.
Foto von motor akyurt An Unsplash
