Haupt Andere Bewertung der Risikoprognose mit ROC-Kurven

Bewertung der Risikoprognose mit ROC-Kurven

Überblick

Software

Beschreibung

Webseiten

Lesungen

Kurse

Überblick

Auf dieser Seite werden kurz Methoden zur Bewertung von Risikovorhersagemodellen unter Verwendung von ROC-Kurven beschrieben.

Beschreibung

Bei der Bewertung der Leistung eines Screeningtests, eines Algorithmus oder eines statistischen Modells – wie einer logistischen Regression – bei dem das Ergebnis dichotom ist (z. B. erkrankt vs. nicht krank), berücksichtigen wir typischerweise Sensitivität, Spezifität, positiver prädiktiver Wert (PPV .). ) und negativer Vorhersagewert (NPV). Dies sind nützliche Werkzeuge, haben jedoch den Nachteil, dass sie auf einen einzigen Grenzwert verweisen und eine abstrakte Bewertung des angemessenen Kompromisses zwischen Sensitivität und Spezifität erfordern, während PPV und NPV von der Populationsprävalenz beeinflusst werden. Receiver Operating Characteristic (ROC)-Kurven bieten eine grafische Darstellung des Bereichs möglicher Cut-Points mit ihrer zugehörigen Sensitivität vs. 1-Spezifität (d. h. Falsch-Positive-Rate). Dies veranschaulicht die Vorzüge des jeweiligen Prädiktor-/Vorhersagemodells und ermöglicht es, unterschiedliche Grenzwerte für bestimmte Anwendungen zu identifizieren – abhängig von den „Kosten“ der Fehlklassifizierung. Schätzungen der Fläche unter der Kurve (AUC) liefern einen Hinweis auf den Nutzen des Prädiktors und ein Mittel zum Vergleich (Testen) von zwei oder mehr Vorhersagemodellen.

Die diagnostische Leistung eines Tests ist die Genauigkeit eines Tests, um erkrankte Fälle von normalen Kontrollen zu unterscheiden. ROC-Kurven können auch verwendet werden, um die diagnostische Leistung von zwei oder mehr Labortests zu vergleichen.

ROC-Kurven stellen die True-Positive-Rate (Sensitivität) gegen die False-Positive-Rate (1-Spezifität) für die verschiedenen möglichen Cutpoints eines diagnostischen Tests dar. Jeder Punkt auf der ROC-Kurve repräsentiert ein Sensitivitäts-/Spezifitätspaar.

  • Je näher die Kurve dem linken Seitenrand und dem oberen Rand folgt, desto genauer ist der Test.

  • Je näher die Kurve an der 45-Grad-Diagonale liegt, desto ungenauer ist der Test.

Um ROC-Kurven zu verstehen, ist es hilfreich, Sensitivität, Spezifität, positiver prädiktiver Wert und negativer prädiktiver Wert zu verstehen:

Die verschiedenen Fraktionen (TP, FP, TN, FN) sind in der folgenden Tabelle dargestellt.

  • TP=True Positive: Fälle, bei denen die Krankheit korrekt als positiv eingestuft wurde

  • FN= False Negative: Fälle, bei denen die Krankheit fälschlicherweise als negativ eingestuft wurde

  • TN= True Negative: Fälle, in denen die Krankheit korrekt als negativ eingestuft wurde

  • FP= False Positive: Fälle ohne die Krankheit fälschlicherweise als positiv eingestuft

Folgende Statistiken können definiert werden:

  • Sensitivität: Wahrscheinlichkeit, dass ein Testergebnis positiv ist, wenn die Krankheit vorliegt (richtig positive Rate, ausgedrückt in Prozent).
    = a / (a+b)

  • Spezifität: Wahrscheinlichkeit, dass ein Testergebnis negativ ist, wenn die Krankheit nicht vorliegt (richtig negative Rate, ausgedrückt in Prozent).
    = d / (c+d)

  • Positive Likelihood Ratio: Verhältnis zwischen der Wahrscheinlichkeit eines positiven Testergebnisses bei Vorliegen der Krankheit und der Wahrscheinlichkeit eines positiven Testergebnisses bei Abwesenheit der Krankheit, d.h. = Echt-Positiv-Rate / Falsch-Positiv-Rate = Sensitivität / (1-Spezifität)

  • Negative Likelihood-Ratio: Verhältnis zwischen der Wahrscheinlichkeit eines negativen Testergebnisses bei Vorliegen der Krankheit und der Wahrscheinlichkeit eines negativen Testergebnisses bei Abwesenheit der Krankheit, d. h. = Falsch-Negativ-Rate / Wahrhaft-Negativ-Rate = (1-Sensitivität) / Spezifität

  • Positiver Vorhersagewert: Wahrscheinlichkeit, dass die Krankheit bei positivem Test vorliegt (ausgedrückt in Prozent).
    = a / (a+c)

  • Negativer Vorhersagewert: Wahrscheinlichkeit, dass die Krankheit bei negativem Test nicht vorliegt (ausgedrückt in Prozent).
    = d / (b+d)

Lesungen

Lehrbücher & Kapitel

Gönen M. Analyse der Betriebskennlinien von Empfängern mit SAS. 2007, Cary: North Carolina: SAS-Publishing.
Wie bei den meisten SAS-spezifischen Büchern ist dies ein sehr praktischer Leitfaden. Es hat eine Menge Theorie/Hintergrund, aber dies ist nicht sein primäres Ziel oder seine Stärke. Da SAS über kein integriertes ROC-Verfahren verfügte, bietet dieses Buch die erforderlichen Makros und Codes sowie Links zu online verfügbaren Datensätzen.

Hunink MGM, Glasziou PP, Siegel JE, Weeks JC, Pliskin J, Elstein A & Weinstein M. Decision Making in Health and Medicine: Integrating Evidence and Values, Kapitel 7. 2001, Cambridge, UK: Cambridge University Press.
Dieses Kapitel bietet einen Überblick und eine Einführung in ROC, um mehrere Testergebnisse zu vergleichen, um das günstigste auszuwählen. Konzentriert sich auf klinische Medizin (nicht epi).

würde KH, Liu ZU, Seiten KI, Ohno-Machado L & Rockette ER. Statistische Bewertung der diagnostischen Leistung: Themen in der ROC-Analyse. 2011, London: Chapman & Hall/CRC Biostatistics Series
Preisgekrönter Hauptautor, der einige maßgebliche Artikel zu diesem Thema veröffentlicht hat. Mit 74 US-Dollar ist dies eine gute Referenzquelle, wenn Sie dieses Thema wirklich ernst nehmen.

Methodische Artikel

  • Metz CE. Grundprinzipien der ROC-Analyse. Seminare in Nuklearmedizin, 1978, 8(4): 283–298

  • Hanley JA & McNeil BJ. Die Bedeutung und Verwendung des Bereichs unter einer Receiver Operating Characteristic (ROC)-Kurve. Radiologie 1982, 143: 29–36

  • Hanley JA & McNeil BJ. Ein Verfahren zum Vergleichen der Flächen unter den Betriebskennlinien des Empfängers, die aus den gleichen Fällen abgeleitet wurden. Radiologie 1983, 148(3): 839–843.

  • Venkatraman ES & Begg CB. Ein verteilungsfreies Verfahren zum Vergleichen von Empfängerbetriebskennlinien aus einem gepaarten Experiment. Biometrie 1996, 83(4): 835–848

  • Obuchowski NA. Betriebskennlinien von Empfängern und ihre Verwendung in der Radiologie. Radiologie 2003; 229(1): 3–8.

  • Obuchowski NA. Grundlagen der klinischen Forschung für Radiologen: ROC-Analyse. American Journal of Röntgenologie 2005, 184: 364–372

  • Zou KH, O’Malley AJ & Mauri L. Receiver-Operating Characteristic Analysis zur Bewertung diagnostischer Tests und Vorhersagemodelle. Auflage 2007, 115: 654–657

  • Cook N. Verwendung und Missbrauch der Receiver Operating Characteristic Curve in der Risikovorhersage Circulation 2007, 115:928-935

  • Vergara IA, Norambuena T, Ferrada E, Slater AW & Melo F. StAR: ein einfaches Werkzeug zum statistischen Vergleich von ROC-Kurven. BMC Bioinformatik 2008, 9:265

  • Seshan VE, Gönen M. & Begg CB. Vergleich von ROC-Kurven, die aus Regressionsmodellen abgeleitet wurden. Arbeitspapier Memorial Sloan Kettering 20. 2011

  • Park SH, Goo JM, Jo C. Receiver Operating Characteristic (ROC)-Kurve: Praktische Überprüfung für Radiologen. Koreanisches Journal für Radiologie 2004, 5(1): 11-18.

    • Ein guter Überblick über ROC in grundlegender Hinsicht. Keine Codierung oder zuverlässiger Überblick über aktuelle Software jedoch.

  • Eng J. Analyse der Betriebscharakteristik des Empfängers: Ein Primer. Acad Radiol. 2005; 12:909-916

    • Sehr schöne Überprüfung der ROC-Kurven, gute Grafik enthalten.

  • Anschauliche logistische Regressionsbeispiele mit PROC LOGISTIC: Neue Funktionen in SAS STAT 9.2

    • SAS-Code, jedoch mit minimaler Erklärung der Ausgabe. Gut, um das Aussehen von Figuren zu perfektionieren.

Anwendungsartikel

Partheen K, Kristjansdottir B & Sundfeldt K. Evaluation der Ovarialkarzinom-Biomarker HE4 und CA-125 bei Frauen mit verdächtiger zystischer Ovarialmasse. J Gynecol Oncol 2011: 22 (4): 244-252.
Die relativen Vorteile von zwei Screening-Tests, die einzeln oder in Kombination eingesetzt werden, werden bewertet und die optimalen Grenzwerte für die klinische Anwendung werden unter Verwendung von ROC-Kurven bei einer Population von Frauen bestimmt, die bereits einer Operation zugewiesen sind (trotz der historisch schlechten Vorhersagekraft der Tests, auf die diese Entscheidung basiert!).

McBrien KA, Kleinman KP, Abrams AM & Prosser LA. Verwendung der Ergebnisse zur Bewertung von Überwachungssystemen für bioterroristische Angriffe. BMC Medizinische Informatik und Entscheidungsfindung 2010, 10:25
http://www.biomedcentral.com/1472-6947/10/25
Hier ist ein gutes Beispiel für eine öffentliche Gesundheitsanwendung von ROC-Methoden, die sowohl beobachtete (Überwachungssystem) als auch simulierte Datensätze verwendet. Die Autoren demonstrieren sowohl traditionelle ROC- als auch gewichtete Kurven mit einem Kostenfaktor. Sie stellen die trapezförmige, rechteckige und abgeschnittene Methode zur Berechnung und zum Vergleich der Fläche unter der Kurve (AUC) gegenüber.

van Toorn R, Springer P, Laubscher JA & Schoeman JF. Wert verschiedener Staging-Systeme zur Vorhersage des neurologischen Outcomes bei der tuberkulösen Meningitis im Kindesalter. International Journal of Tuberculosis and Lung Disease 2012 16(5):628–632.
Die ROC-Analyse wird verwendet, um verschiedene Staging-Systeme für TB-Meningitis bei Kindern zu vergleichen, um neurologische Ergebnisse nach 6-monatiger Behandlung vorherzusagen. Die Unterscheidung zwischen den verschiedenen Bewertungssystemen wurde anhand der Fläche unter den Receiver Operating Curves (AUC) getestet.

Webseiten

http://www.medcalc.org/features/roccurves.php?gclid=CKu_2aiJu68CFYRM4AodIVLTkQ
Software – als kostenlose Testversion erhältlich – mit der Sie Analysen durchführen, Grafiken erstellen, AUC nach zwei Methoden erhalten und Konfidenzintervalle für die AUC erhalten.

http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html
Hier ist ein interaktiver Online-ROC-Rechner - viel Spaß!

http://www.ats.ucla.edu/stat/stata/faq/roc.htm
UCLA bietet ein funktionierendes Beispiel, das zeigt, wie zwei AUCs verglichen werden. Stata verfügt über integrierte ROC-Befehle für eine einfache Codierung.

http://www.ats.ucla.edu/stat/sas/seminars/whatsnew92/default.htm
SAS 9.2 führte einige hier gezeigte ROC-Kapazitäten ein. Scrollen Sie etwa drei Viertel nach unten, um den ROC-Beispielcode und das Diagramm anzuzeigen.

http://www.mskcc.org/sites/www.mskcc.org/files/node/11749/documents/sas-code-macros.txt
Beispiel SAS-Code

Interessante Artikel

Tipp Der Redaktion

Eine Studie von George Bonanno von TC findet eine genetische Grundlage für Resilienz
Eine Studie von George Bonanno von TC findet eine genetische Grundlage für Resilienz
Neue Forschungen von George Bonanno bestätigen die genetische Grundlage für die psychischen Reaktionen von Menschen auf potenziell traumatisierende Ereignisse.
Vorteile der Nanotechnologie und ihre Anwendung in Medizin, Industrie, Elektronik
Vorteile der Nanotechnologie und ihre Anwendung in Medizin, Industrie, Elektronik
Nanotechnologie. Ein breites Anwendungsgebiet sieht in der Automobilindustrie, Elektronikgütern, der Medizin, der Verbesserung des menschlichen Sehvermögens und der Reduzierung körperlicher Anstrengungen vor.
Klinik für Rehabilitation und Regenerative Medizin
Klinik für Rehabilitation und Regenerative Medizin
Was sind Kreuzschmerzen? Kreuzschmerzen können von leichten, dumpfen, lästigen Schmerzen bis hin zu anhaltenden, starken, behindernden Schmerzen im unteren Rückenbereich reichen. Schmerzen im unteren Rückenbereich können die Beweglichkeit einschränken und die normale Funktion beeinträchtigen. Schmerzen im unteren Rücken sind eines der bedeutendsten Gesundheitsprobleme, mit denen die Gesellschaft heute konfrontiert ist. Betrachten Sie diese Statistiken der National Institutes of Health: Acht von zehn Menschen haben irgendwann in ihrem Leben Rückenschmerzen. Rückenschmerzen sind eine häufige Ursache für Aktivitätseinschränkungen bei Kindern und Erwachsenen jeden Alters.
John Bennet
John Bennet
John Bennet ist leitender Redakteur beim New Yorker.
Klinik für Rehabilitation und Regenerative Medizin
Klinik für Rehabilitation und Regenerative Medizin
Was ist eine Repetitive Motion Injury (Repetitive Stress Injury)?
SBI Xpress Kreditdokumente, Berechtigung, Zinssatz, EMI, Online beantragen
SBI Xpress Kreditdokumente, Berechtigung, Zinssatz, EMI, Online beantragen
SBI Xpress-Kreditdarlehensdokumente, Berechtigung, Zinssatz, EMI, Online-Antrag, Online-Antragsformular, Zeit, Darlehensbetrag
e-Mentor-Programm
e-Mentor-Programm
Willkommen beim e-Mentor-Programm, das vom Career Design Lab und Alumni Relations der Columbia University School of Professional Studies gesponsert wird…