Pentru indicații de rezolvare accesați fișierele Indicații și Interpretări

Noțiuni introductive

Curba ROC (Receiver Operating Characteristics) este o curbă bidimensională care prezintă grafic valorile perechi ale sensibilităţii (axa OY, rata adevărat pozitivilor) şi specificităţii (axa OX, (1-Sp) = rata falşi pozitivilor) şi permitând astfel evaluarea unui semn/test diagnostic. A fost utilizată pentru prima dată în evaluarea unui test diagnostic în 1960 de către Lusted în diagnosticul radiografic al tuberculozei pulmonare [Lusted LB. Logical analysis in roentgen diagnosis. Radiology. 1960;74:178–93].

Analiza ROC este corect aplicată dacă evaluarea se face în comparaţie cu un test de referinţă ('golden standard') şi rezultatul testului diagnostic este o valoare numerică continuă (variabilă măsurată), discretă sau oridinală cu minim cinci clase (cu siguranţă normal | probabil normal | incert | probabil anormal | cu siguranţă anormal) [Hanley JA. Receiver operating characteristic (ROC) methodology: the state of the art. Crit Rev Diagn Imaging. 1989;29:307–35]. Scopul analizei ROC este de a identifica valoarea prag optimă pentru diferenţierea unui rezultat pozitiv de un rezultat negativ. Metode statistice parametrice (valorile testului diagnostic urmează distribuţia normală) sau neparametrice (nu se face nici o asumpţie asupra distribuţiei valorilor testului diagnostic) se utilizează pentru analiza ROC şi obţinerea valorilor ariei de sub curbă (AUC = Area Under the Curve). Metoda este utilizată la evaluarea unui test diagnostic sau la compararea a două metode diferite de diagnostic ambele aplicate fiecărui pacient.

Curba ROC este:

• O metodă de evaluare a unui test diagnostic.
• O metoda grafică de reprezentare a valorilor prag.
• O metodă independentă de prevalenţa bolii de interes.

Analiza ROC permite vizualizarea a mai mult de un test diagnostic, respectiv identificarea valorii Se pentru a valoare fixă a Sp.

Aria de sub curbă (AUC):

• Indicator unidimensional care rezumă localizarea "generală" a întregii curbe ROC.
• Interpretare corectă se face cu ajutorul intervalului de încredere/confidenţă de 95% asociat: dacă AUC≥0,9 acurateţea diagnostică este excelentă, 0,8≤AUC0,9 indică o acurateţe diagnostică foarte bună, iar o valoare AUC  0,8 indică un test cu acurateţe diagnostică fără valoare.
• Valoarea maximă este egală cu 1 şi indică un test diagnostic perfect, capabil să identifice corect atât subiecţii bolnavi cât şi cei indemni de boală.
• AUC=0,5 discriminare întâmplătoare; AUC=0 testul clasifică incorect toţi subiecţii bolnavi ca negativi şi toţi subiecţii indemni de boală ca pozitivi.
• Se poate verifica statistic dacă AUC este sau nu semnificativă statistic.

Ipoteze statistice posibile:

• Un singur test diagnostic:

H₀: AUC=0.5, vs. H₁: AUC≠0.5

unde AUC = aria de sub curbă a noului test diagnostic.

Dacă p0,05 testul diagnostic are abilitatea de a identifica bolnavii şi indemnii de boală.

• Compararea a două teste diagnostice:

H₀: AUC₁=AUC₂, vs. H₁: AUC₁≠AUC₂

unde AUC₁ = aria de sub curbă a primului test diagnostic, AUC₂ = aria de sub curbă a celui de al doilea test diagnostic.

Dacă p0,05 există diferenţă semnificativă statistic în ceea ce priveşte acurateţea testelor; cu cât valoarea AUC este mai mare cu atât testul e mai bun.

Identificarea valorilor prag se face frecvent utilizând una din următoarele metode (Figura 1):

• d²=minim, unde d²=(1-Se)²+(1-Sp)²
• J=max(Se+Sp-1), unde J = indicele Youden

Figura 1. Curba ROC: aspecte generice. Un test diagnostic mai puţin performant are graficul apropiat de diagonală

Scenariul studiului-exemplu

Apendicita acută constă în inflamaţia apendicelui care netratat chirurgical se poate rupe şi infecţia se extinde în cavitatea abdominală determinând peritonită. Există 3 tipuri de apendicită: ① catarală (congestivă) în care apendicele este turgescent, congestionat, de culoare roşie-violacee, ② flegmonoasă (supurată/purulentă) cu apendice mărit de volum, în tensiune şi friabil şi ③ gangrenoasă (necrotico-hemoragică) în care perete apendicular prezintă zone devitalizate cu aspect flasc şi culoare brună.

Cikot şi colaboratorii au investigat utilitatea calprotectinei (o proteină antimicrobiană acumulată în neutrofile dar existentă în cantitate mai mică şi la nivelul monocitelor şi macrofagelor). Scenariul acestui exerciţiu se bazează pe articolul publicat de Cikot şi colaboratorii iar răspunsul la întrebări se face pe baza acestui articol. Acest exerciţiu te va ajuta să evaluezi utilitatea clinică a evaluării nivelelor sangvine de calprotectină în diferenţierea apendicitei acută, şi respectiv a apendicitei complicată (perforaţie, empiem sau abces) de cea necomplicată.

 Protocolul studiului

Pentru a răspunde la aceste întrebări, se vom citi diferite secţiuni (specificate pentru fiecare întrebare în parte) ale articolului cu titlul Plasma calprotectin level: usage in distinction of uncomplicated from complicated acute appendicitis, autori Cikot M, Peker KD, Bozkurt MA, Kocatas A, Kones O, Binboga S, et al., publicat în World Journal of Emergency Surgery 2016;11:7. Doi: 10.1186/s13017-016-0062-9 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4729141/

1. Scop și obiective (Abstract & ultimul paragraf din Introduction)

Scop: Evaluarea calprotectinei ca biomarker în diagnosticul apendicitei acute și respectiv în discriminarea dintre apendicita acută complicată și cea necomplicată.

Obiectivele studiului:

• Compararea markerilor inflamatori utilizaţi de rutină în practica medicală (proteina C reactivă - CRP, nivelul globulelor albe - WBC) cu valorile plasmatice de calprotectinei la pacienţii cu apendicită acută.
• Rolul calprotectinei plasmatice în diagnosticul apendicitei acute complicată şi necomplicată.
• Acurateţea calprotectinei şi proteinei C reactive ca markeri ai apendicitei acute.

2. Domeniul de cercetare: Evaluarea unui procedeu diagnostic

3. Tipul sudiului: (Methods)

• ȋn funcţie de obiectivele studiului: analitic
• ȋn funcţie de rezultatele vizate: observațional
• ȋn funcţie de tehnica utilizată în alegerea grupurilor: fără potrivire
• S-a utilizat tehnica mascării pentru evaluarea testelor aplicate? Nu există informaţii în textul articolului care să permită evaluarea mascării.

4. Populaţia accesibila şi eşantionul de studiu (Methods)

• Populaţia accesibilă: pacienți cu apendicită acută tratați la tanbul Bakirkoy Dr. Sadi Konuk Training and Research Hospital
• Eşantionul de studiu:
  • Caz: Pacienți cu apendicită acută scor ASA (American Society of Anesthesiologists) I-III, cu tratament laparoscopis în perioada Ianuarie 2013-Mai 2013. Subiecţii cu apendicita perforată, gangrenoasă sau prezenţa abcesului intra-abdominal au fost incluşi în grupul celor cu apendicită complicată.
  • Control: Pacienți care s-au prezentat în aceeași perioadă la același spital pentru durere abdominală în flancul drept, sau drept și stâng la cadranului inferior cu diagnostic laparoscopic de altă patologie apencidită acută. Au fost excluși din grupul de control pacienții cu patologii inflamatorii la nivelul pelvisului (18 cazuri), chist ovarian hemoragic sau rupt (16 cazuri), sau diverticulită (3 cazuri).

5. Modalitatea de culegere a datelor (Methods)

• în funcţie de populaţia cuprinsă în studiu: Nu e specificat în articol dacă s-a utilizat sau nu o metodă de eşantionare.
• în funcţie de durata culegerii datelor: Nu se specifică clar în articol.
• în funcţie de modul de alcătuire a grupului sau grupelor de subiecţi: caz-martor (cele două grupuri au fost definite în funcție de prezența/absența apendicitei acute).

6. Teste diagnostice (Methods)

Teste diagnostice aplicate

• Calprotectina: limita de identificare = 46,8 ng/ml. Sângele recoltat de la pacienţi a fost centrifugat 15 min la 2000×g. Plasma a fost păstrată la -80°C până la determinare. Determinarea s-a făcut cu kit-ul Cal ELISA kit (East Biopharm, China)
• CRP valori normale: 0,01–0,5 mg/dL
• WBC valori normale: 4–11×10³/mm

Markerii au fost determinaţi după diagnostic şi înainte de aplicarea tratamentului (intervenţia chirurgicală).

Testul de referinţă utilizat: Examenul histopatologic (informaţie disponibilă doar în secţiunea Results. Această informaţie trebuia să se regăsescă în secţiunea Methods.)

Rezultate scontate. Analiza, prezentarea și interpretarea datelor

7. Analiza statistică și interpretarea rezultatelor

• Descrierea eşantionul investigat (repartiţia pe gen, vârstă, etc.) (Results, în text)
  • M/F: 54/35 grupul caz, respectiv 20/10 grupul martor.
  • Ani (Media (amplitudinea)): 28 (19-45) grup caz, 31 (21-56) grup martor
• În eşantionul cu apendicită acută, câţi pacienţi au fost cu apendicită complicată şi câţi au fost cu apendicită necomplicată? (Results, în text)
  • Apendicită necomplicată (inflamaţia mucoasei): 22 pacienţi
  • Apendicită complicată: 67 pacienţi (48 pacienţi cu apendicită flegmonoasă, 19 pacienţi cu apendicită gangrenoasă)
• Care a fost Se, Sp, VPP, VPN pentru calprotectină? (Results, în text)
  • Pentru valoarea prag de 46 ng/mL: Se = 98,88%, Sp = 83,33%, VPP = 94,64%, VPN = 96,15%
• Valorile markerilor investigaţi au fost semnificativ diferite la grupul cu apendicită acută comparativ cu grupul martor? (Results, Table 1)
  • p0,05 à Markerii investigaţi au avut valori semnificativ mai mari la grupul cu apendicită acută comparativ cu grupul martor:
• Valorile markerilor investigaţi au fost semnificativ diferite la cei cu apendicită complicată comparativ cu cei cu apendicită necomplicată? (Results, Table 2)
  • Nu au existat diferenţe semnificative statistic în ceea ce priveşte globulele albe (WBC) (p=0,164).
  • Valorile proteinei C reactive (PCR) au fost semnificativ statistic mai mari în grupul celor cu apendicită complicată (p=0,014).
  • Calprotectina a avut valori de aproximativ 3 ori mai mari la pacienţii cu apendicită complicată comparativ cu pacienţii cu apendicită necomplicată. Diferenţa a fost înalt semnificativă statistic (p=0,0001).
• Există diferenţă semnificativă statistic între markerii investigaţi în diagnosticarea pacienţilor cu apendicită acută? (Results, Table 4)

Compararea valorilor AUC pentru perechi de markeri a evidenţiat absenţa diferenţei semnificative statistic (p>0,9, vezi Tabelul 4)

• Există diferenţă semnificativă statistic între markerii investigaţi în discriminarea apendicitei complicate faţă de cea necomplicată? (Results, Table 5)

Interpretarea datelor. Discuții

8. Discuții

• Care e cel mai eficient marker în identificarea pacienţilor cu apendicită acută? (Results)

Toţi cei trei markeri investigaţi au avut valori ale ariei de sub curbă (AUC) peste 0,9 cu limita inferioară a intervalului de încredere de 95% mai mare decât 0,8. Toţi cei trei markeri sunt teste bune în diagnosticarea apendicitei acute. (Table 4)

• Care e cel mai eficient marker în discriminarea apendicitei complicate? (Results, Table 5 & Fig. 2)

Singurul biomarker cu abilităţi în discriminarea apendicitei complicate comparativ cu cea necomplicată este calprotectina deoarece AUC = 0,935 şi limita inferioară a intervalului de încredere >0,8 indicând un test diagnostic excelent. Limita inferioară a intervalului de încredere pentru globulele albe (WBC) este în regiunea unui test diagnostic fără acurateţe. Limita inferioară a intervalului de încredere pentru proteina C reactivă (CRP) este mai mică de 0,5.

9. Concluzia studiului

• Oricare din cei trei markeri investigaţi sunt la fel de utili în identificarea pacienţilor cu apendicită acută.
• Calprotectina este un marker util în discriminarea pacienţilor cu apendicită complicată.

LAB 06 - activitate practică (cerințe)

LAB 06 - activitate practică (instrucțiuni)

Fisier de date - activitate practică

LAB 06 - activitate practică (rezultate JAMOVI)

LAB 06 - activitate practică - evaluarea unui studiu ROC

Pentru cei care vor să instaleze pe alte calculatoare decât cele de la disciplină: programul statistic JAMOVI este disponibil gratuit.