닫기

Ex) Article Title, Author, Keywords

Review Article

Split Viewer

Journal of Digestive Cancer Research 2024; 12(3): 207-215

Published online December 20, 2024

https://doi.org/10.52927/jdcr.2024.12.3.207

© Korean Society of Gastrointestinal Cancer Research

소화기암에서 체계적 문헌고찰과 메타분석을 활용한 의료기술 비교평가 방법

Systematic Review and Meta-analysis in Digestive Cancer Research

권소현, 손낙훈
So Hyeon Gwon , Nak-Hoon Son


계명대학교 통계학과
Department of Statistics, Keimyung University, Daegu, Korea

Correspondence to :
Nak-Hoon Son
E-mail: nhson@kmu.ac.kr
https://orcid.org/0000-0002-6192-8852

Received: September 30, 2024; Revised: October 9, 2024; Accepted: October 10, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0). which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

This article highlights the role of meta-analysis as a statistical method for quantitatively summarizing existing research and reconciling conflicting findings. It discusses literature search methods for meta-analysis, the selection and interpretation of statistical models, and publication bias. Meta-analysis allows for the statistical consideration of homogeneity and heterogeneity among studies. Determining homogeneity and heterogeneity is crucial for selecting the appropriate meta-analysis model. Systematic reviews and meta-analyses provide a high level of evidence on treatment efficacy, especially when they include multicenter and multinational studies. In the case of well-researched disorders such as digestive cancer, meta-analysis can be useful in generalizing findings from existing papers, draw conclusions, and evaluate related medical technologies. Furthermore, these findings can be used to propose or enhance standards of care.

KeywordsModels statistical Meta-analysis Publication bias Systematic review

시간이 흐름에 따라 연구의 양은 기하급수적으로 증가하고 있다. 이에 따라 같은 주제로 연구를 진행해도 다른 결과가 도출되기도 한다. 같은 문제에 대한 선행 연구들의 연구 결과를 체계적이고 계량적으로 통합하는 연구 방법이 메타분석(meta-analysis)이다. 메타분석은 임상 연구뿐만 아니라 심리학, 정보 시스템 등의 영역에서도 사용된다. 특히 메타분석은 출간된 연구의 정보를 결합하여 치료 효과와 이점을 추정하고 연구 간의 변동성을 평가하는 데도 유용한 도구이다[1,2].

Wallace 등[3]의 논문에서 근거의 계층구조에 따르면 인과관계 추론이 가장 높은 영역으로 체계적 문헌고찰과 메타분석이 존재한다. 그 아래로 무작위 대조 시험(randomized controlled clinical trial, RCT) 연구, 코호트(cohort) 연구, 사례-대조(case-control) 연구가 있고, 가장 낮은 인과관계 추론의 영역에는 사례 보고(case report)가 존재한다. 이때 체계적 문헌고찰을 위해 통계적 방법으로 메타분석이 사용되고 있다. 따라서 메타분석을 사용하지 않고 체계적 문헌고찰을 제시하기도 하며[4], Campbell 등[5]의 연구에서도 정량적 데이터의 서술적 문헌고찰(narrative synthesis of quantitative data) 비율은 56%이며 메타분석을 사용한 문헌고찰 비율은 44%였다. 체계적 문헌고찰과 메타분석이 동일한 것은 아니지만 메타분석을 사용함으로써 보다 앞선 연구들을 계량적으로 통합할 수 있고 강한 근거를 도출할 수 있다는 점에서 특히 의학 연구에서 추천된다[3]. 따라서 국내에서 빈번하게 발병하는 소화기암에 대한 메타분석을 수행하여 기존 논문들의 결과를 통합한 근거를 기반으로 의료기술을 계량적으로 평가할 수 있을 것이다.

메타분석을 하기 앞서 알고자 하는 연구 분야에 대한 전문 지식과 경험이 풍부해야 하며, 문헌 탐색과 선정이 중요하다. 문헌을 선택하는 과정에서 연구의 목적과 대상자, 평가 방법, 연구 디자인을 고려해야 하고, 선택된 문헌들을 통해 메타분석을 수행하게 된다. 이에 본 논문은 메타분석을 위한 문헌을 탐색하고 선정하는 방법으로 메타분석을 위해 수집되어야 하는 통계치, 메타분석의 모형 선택과 결과 해석에 대해 설명할 것이다.

메타분석의 장·단점

메타분석은 효과 크기(effect size)의 불확실성을 정량적으로 측정하여 여러 연구들을 종합적으로 평가할 수 있으며 이질성을 보정하여 개별 연구들 간의 논란을 해결할 수 있다. 또한 소규모 연구들의 결과를 합치면서 연구 대상자 수가 증가하여 검정력과 정밀도를 높일 수 있다. 이를 통해 모수를 더 정확하게 추정을 하고 통합된 결과를 기반으로 새로운 가설을 제공할 수 있으며, 결과에 영향을 끼칠만한 요인에 대해 분석도 가능하다는 장점이 있다. 앞서 출간된 선행 연구만으로 연구가 가능하기 때문에 의학연구윤리심의위원회(Institutional Review Board) 심의에서 면제되기도 한다.

다만, 위암과 골절을 비교하는 것과 같이 서로 비교할 수 없는 다른 디자인의 연구들을 종합하려는 문제가 발생할 수 있다. 예를 들어 연구의 실험설계, 표본, 측정의 타당도, 신뢰도, 자료 분석의 적절성에 따라 구분하지 않으면서 생길 수 있는 문제가 있다. 그리고 이미 출판된 연구를 대상으로 하므로 출판 편향(publication bias)이 존재할 수 있으며, 중재 변인의 개입이나 상호작용 효과를 무시하고 연구 결과를 지나치게 단순화할 수 있다는 단점이 있다.

따라서 이러한 한계점을 극복하기 위해, 체계적 문헌고찰 및 메타분석(systematic reviews and meta-analysis)에 대한 선호 보고 항목을 통해 연구를 식별, 선택, 평가 및 종합하는 흐름도를 체크하고[6], 체계적 문헌고찰을 위해 문헌 선택 방법으로 핵심질문(PICO)을 고려함으로써 문헌 간 일관성을 높일 수 있다[4,7].

문헌선택

체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목은 2009년에 문헌고찰을 수행한 이후부터 수행한 작업 및 내용을 투명하게 보고하기 위해 고안되었다. 최근 2020년에 연구를 식별하고, 선택, 평가 및 종합하는 방법에 대해 새로운 가이드라인이 제안되었다. 또한 체계적 문헌고찰 및 메타분석에 대해 체크 리스트와 흐름도를 제시하여 연구자에게 도움을 준다[6].

메타분석을 수행하기 전, 연구의 목적을 설정하고 검색엔진을 통해 문헌 정보를 수집해야 한다. 메타분석을 위한 문헌 선택 방법으로는 PICO(s)를 통해 연구의 목적에 부합한 문헌을 찾는 데 도움이 된다[4,7]. PICO는 다음의 약어로 구성되어 있다. 1) Population or Participants: 연구 대상자로 체계적 문헌고찰 연구에서 목표하는 연구 집단, 2) Intervention: 개입 방법으로 치료 혹은 처치를 받은 집단, 3) Comparison: 비교 집단을 정의한다. 그리고 두 집단 간의 4) Outcomes: 연구 결과를 메타분석에 사용한다. 추가로 5) Study designs: 연구 유형을 고려하여 메타분석을 위한 문헌 검색의 기준을 세울 수 있다.

또한 메타분석에 사용되는 연구들의 비뚤림(bias)을 평가하여 제시함으로써 선택된 연구들의 비뚤림 위험 정도를 알 수 있다. 이 비뚤림 위험은 크게 RCT인 경우와 비 RCT인 경우로 나눠서 평가한다. RCT인 경우 여러 평가 방법 중 ‘version 2 of the Cochrane risk-of-bias tool for randomized trials (RoB2)’을 대표적으로 사용한다[8]. 질문은 무작위 배정, 중재 이탈, 중재 결과 자료의 결측, 중재 결과의 측정, 연구결과 선택, 전반적인 비뚤림으로 6개가 있다. 그리고 각 질문에 대해 위험 정도를 ‘low risk’, ‘some concerns’, ‘high risk’와 같이 3단계로 평가한다. 비 RCT인 경우 중재 전후 연구를 평가하는 ‘risk of bias in non-randomized studies of interventions (ROBINS-I)’ [9]와 노출에 대한 연구를 평가하는 ‘risk of bias in non-randomized studies of exposures (ROBINS-E)’ [10]가 있다. 한국보건의료연구원(NECA)에서 국문으로 제공하는 버전은 ROBINS-I로 교란, 연구대상자의 선택, 중재분류, 이탈, 결측, 중재결과 측정, 연구 결과 선택의 비뚤림과 전체 비뚤림으로 8개의 질문이 있으며 4단계의 위험도를 ‘low risk’, ‘moderate risk’, ‘serious risk’, ‘critical risk’로 평가한다. 이 외 ROBINS-E는 영문으로 필요 시 사용할 수 있다(Table 1).

Table 1 . Evaluation of Risk of Bias by Study Design

Risk of bias assessment toolRisk levelDomainDomains in English
RoB2- Low risk
- Some concerns
- High risk
1Randomization process
2Deviations from intended interventions
3Missing outcome data
4Measurement of the outcome
5Selection of the reported result
6Overall bias
ROBINS-I- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Bias due to confounding (pre-intervention)
2Bias in selection of participants into the study (pre-intervention)
3Bias in classification of interventions (at intervention)
4Bias due to deviations from intended interventions (post-intervention)
5Bias due to missing data (post-intervention)
6Bias in measurement of outcomes (post-intervention)
7Bias in selection of the reported result (post-intervention)
8Overall risk of bias
ROBINS-E- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Risk of bias due to confounding
2Risk of bias arising from measurement of the exposure
3Risk of bias in selection of participants into the study (or into the analysis)
4Risk of bias due to post-exposure interventions
5Risk of bias due to missing data
6Risk of bias arising from measurement of the outcome
7Risk of bias in selection of the reported result


효과 크기(effect size)

각 연구에 표기된 통계치가 단위 기준에 따라 상이할 수가 있다. 따라서 메타분석의 결과는 효과 크기라는 집단 간 표준화된 차이를 제시한다. 이를 통해 두 집단 간의 차이나 관계를 정량적으로 평가할 수 있다. 효과 크기는 결과 변수의 유형에 따라 다양하게 계산된다.

결과 변수가 연속형인 경우, 두 집단 간의 평균 차이를 표준화한 standardized mean difference (SMD)를 계산한다. 보통 Cohen’s d를 가장 빈번히 사용하며 두 집단의 평균 차이를 표준 편차로 나누어 표준화한 값이다.

SMD=X¯TX¯C(nT1)ST2+(nC1)SC2 nT+nC2

여기서 X¯T, X¯C는 각각 치료군의 표본평균과 대조군의 표본평균을 의미하고, nT, nC는 치료군의 표본 수와 대조군의 표본 수, ST, SC는 치료군의 표준편차와 대조군의 표준편차를 의미한다. SMD는 표준편차의 단위가 평균의 단위와 같기 때문에 단위를 고려하지 않고 쉽게 해석할 수 있다.

결과 변수가 범주형인 경우, 효과 크기를 평가하기 위해 log risk ratio (log RR)과 log odds ratio (log OR), 위험차이(risk difference, RD)를 사용한다(Table 2).

Table 2 . Incidence of Event by Group

EventNon-eventTotal
Experimentaln11n12n11 + n12
Controln21n22n21 + n22
Totaln11 + n21n12 + n22N


위험비(risk ratio, RR)는 대조군과 실험군에서 사건이 발생할 확률을 각각 계산하고, 대조군 대비 실험군에서 사건이 발생할 확률이 몇 배 증가하는지 알아보는 것이다.

RR=n11/(n11+n22)n21/(n21+n22)

따라서 RR이 1인 경우에는 대조군과 실험군의 사건 발생 비율의 차이 없다고 해석할 수 있고, 1보다 큰 경우 대조군 대비 실험군에서 사건이 발생할 RR이 증가한다고 해석한다.

오즈비(odds ratio, OR)는 각 집단에서 사건의 발생 오즈(odds)에 대한 비를 의미한다. 사건의 발생 오즈란 사건 발생 빈도를 사건이 발생하지 않은 빈도로 나누는 것이다. 따라서 OR이란 대조군의 오즈와 실험군의 오즈의 비를 의미하며, 대조군의 사건 오즈 대비 실험군의 사건 오즈가 몇 배 높은지 알 수 있다.

Odds=n11n12
OR=n11/n12n21/n22=n11×n22n12×n21

OR이 1인 경우 대조군과 실험군의 사건 OR 차이가 없다고 해석한다. 그리고 OR이 1보다 큰 경우 대조군 대비 실험군에서 사건 OR이 증가한다고 해석한다. RR은 각 집단내 사건 발생 확률의 비를 의미하며 코호트 연구에 적합하고, OR은 각 집단에서 사건 발생 오즈의 비를 의미하며 사례-대조 연구에 적합하다. RR과 OR은 log 변환을 통해 효과 크기를 사용하기도 한다.

RD는 두 집단의 사건 발생 확률 차이를 의미한다. 대조군 대비 실험군에서 사건 발생 확률이 얼마나 더 증감하는지 알 수 있다.

RD=n11n11+n12=n21n21+n22

RR, OR과 달리 RD가 0인 경우 ‘대조군과 실험군의 사건 발생 확률 차이가 없다’고 해석한다. RD가 0이 아닌 경우 ‘대조군 대비 실험군에서 사건 RD가 %p이다’라고 해석한다. 이러한 지표들은 범주형 데이터에서 두 집단 간의 차이나 연관성을 평가하는 데 유용하게 사용된다.

분석모형(meta-analysis model)

분석모형은 고정효과모형(fixed effect model)과 랜덤효과모형(random effect model)으로 나뉜다. 고정효과모형은 모든 연구의 모집단이 동일하고, 연구간의 차이는 표집 오류로 인한 것으로 가정한다. 즉, 고정효과모형에서 평균 효과 크기는 동일한 모집단에 대한 효과 크기의 추정치를 의미한다.

yi=θ+εi,εi~N(0,vi)

고정효과모형에서 사용하는 분산(vi) 추정 방법으로 역분산 추정법(generic inverse variance estimation method), 멘텔-헨젤 추정법(Mantel-Haenszel estimation method), 피토 추정법(Peto estimation method)이 있다. 일반적으로 역분산 추정법을 사용하면 가중치(wi)는 분산(vi)의 역수가 되며, 이를 사용해서 추정된 효과 크기(θ^)를 도출한다.

wi=1vi
θ^= i=1kwiyi i=1kwi

연구에 포함된 표본 수나 사건의 수가 적을 때는 역분산 추정법보다 멘텔-헨젤 추정법을 사용할 수 있다. 그리고 두 집단의 표본 수가 유사하고 사건 발생 수가 유사하여 OR이 1에 근사할 경우 피토 추정법을 사용할 수 있다.

랜덤효과모형은 연구마다 주체, 치료 방법, 기간이 다르기 때문에 모든 연구의 모집단은 다르고, 따라서 개별 연구의 다른 모집단에 대한 효과 크기를 추정하게 된다. 수식에서는 고정효과모형에서 개별연구의 효과 크기를 의미하는 ui가 추가되며, uiτ2만큼의 집단간 변동성(variation)을 가진다. 즉, 고정효과모형의 θ=μ+ui가 되어 개별 연구의 변동성을 포함한다.

yi=μ+ui+εi
ui~N(0,τ2),εi~N(0,vi)
μ^= i=1kwiyi i=1kwi
wi=1τ^2+vi,τ^2=E(τ2)

(τ2: 집단간 변동 = 실제효과/결과의 ‘잔여 이질성’의 양)

랜덤효과모형에서 사용하는 분산 추정식은 연구 내 분산(vi)뿐만 아니라 연구 간 분산(τ2)을 고려해서 가중치를 계산한다.

비교하자면 고정효과모형은 평균효과 크기를 고려할 때 연구 내 분산(vi)만 고려하기 때문에 평균 효과 크기의 신뢰구간이 좁게 나타나고, 분산 추정 방법에 따라 분산이 작은 연구는 평균효과 크기에 큰 영향을 미친다. 반면 랜덤효과모형은 연구 내 분산(vi)과 연구 간 분산(τ2)을 모두 고려하기 때문에 평균효과 크기의 신뢰구간이 고정효과모형에 비해 넓게 나타나게 된다.

랜덤효과모형에서 연구 간 분산(τ2)이 0이라면 yi = 가 되어 고정효과모형과 같아진다. 즉, 연구 간 이질성이 존재하지 않는다면 고정효과모형과 랜덤효과모형의 결과가 유사하게 나올 것이며, 연구 간 이질성이 존재한다면 를 고려한 랜덤효과모형을 선택하는 것이 적절하다.

이질성(heterogeneity)

이질성이란 연구들 간의 차이 정도를 의미하며 메타분석 내에서 효과 크기가 달라지는 정도를 의미한다. 랜덤효과모형에서는 연구 간의 이질성 때문에 연구의 실제효과 크기가 다를 수 있음을 가정하여 τ2를 포함한다. 따라서 랜덤효과모형은 연구 간 이질성이 존재할 때도 효과 μ+εi크기를 잘 계산할 수 있다. 하지만 높은 이질성을 가지는 경우 해석의 의미가 없을 수도 있다. 따라서 메타분석 결과를 제시할 때 전체적인 효과 크기뿐만 아니라 연구 간 이질성을 정량화하여 함께 제시하는 것이 연구 결과의 신뢰성을 높일 수 있다[11].

전통적으로 메타분석에서 연구 간 이질성으로부터 연구의 표집 오류를 구별하기 위해 Cochran’s Q를 사용한다. Q는 개별 연구들이 얼마나 동질적인지를 나타내는 지표로 사용한다.

Q= k=1Kwk(θ^kθ^)2

θ^는 추정된 효과 크기, θ^k는 각 연구의 관찰된 효과 크기, wk는 연구 내 분산의 역수를 의미한다. 즉, Q 통계량은 잔차(θ^kθ^)에 가중치 wk를 곱한 합으로 θ^로부터 θ^k가 얼마나 벗어나는지 뿐만 아니라 연구의 정밀도를 고려한 값이다. 만약 연구효과의 표준오차가 작다면 정밀도가 증가하고 Q 통계량도 커질 것이다. 이러한 Q 통계량으로 큰 변동을 확인할 수 있고, 이는 표집 오류로 인한 변동 외에 다른 변동이 있었는지 확인이 가능하다. 이 외에 나머지 변동은 연구 간 이질성으로 가정한다. Q-test의 귀무 가설(null hypothesis)은 ‘이질성이 없다(no heterogeneity)’이며, Q-test를 할 때 표본크기가 작거나 연구 수가 적은 메타분석의 상황에서 검정력이 낮기 때문에 해석에 주의해야 한다. Q 통계량은 연구의 크기에 영향을 받기 때문에 유의수준 0.05가 다소 보수적인 결과를 내놓게 된다. 따라서 통계적으로 이질성이 존재하지만 이질성이 없다는 결과를 내지 않도록 하기 위해 유의수준 0.1을 기준으로 사용한다[12].

연구 간 이질성 정도를 판단하기 위한 또 다른 값으로는 I2가 있다. I2는 메타분석에 포함되는 여러 연구들의 이질성을 판단하기 위해 정량적으로 사용하는 값으로 Cochran’s Q를 사용한 수식을 사용한다.

I2=Q(K1)Q

여기서 K는 연구의 총 수를 의미한다.

I2는 총 분산에 대한 실제 개별 연구 간 분산의 비율을 의미하여 0%에서 100%의 범위를 가진다. 만약 Q < K – 1인 경우 음수가 계산되기도 하는데 이때는 0%로 올림 한다. I2가 25% 정도는 낮은 이질성, 50%는 중간 이질성, 75%는 높은 이질성을 가진다고 판단한다[13].

H 통계량은 I2와 유사하게 Cochran’s Q를 사용해서 계산한다. H 통계량은 QK – 1보다 작을 때 인위적으로 수정하지 않는다.

H2=QK1

연구 간 이질성이 없는 경우 H2는 1 또는 1 미만의 값을 가지게 되고, 1보다 크면 연구 간 이질성이 존재한다고 판단한다.

하지만 일부 학자들은 Q 통계량은 개별 연구의 개수가 증가할수록 Q도 증가하기 때문에 이 검정 결과로 모형을 선택하는 것을 추천하지 않으며, I2H 역시 정밀도의 영향을 받기 때문에 신뢰구간을 함께 제시하거나[14], τ2를 보고하기를 제안한다[15]. 또는 prediction intervals가 연구의 개수와 정밀도의 한계점을 극복한 방법으로 제안되기도 한다[16].

만약 연구 간 이질성이 존재한다면 랜덤효과모형을 선택하는 것이 효과 크기의 해석에 바람직하다. 또 다른 방법으로는 하위그룹 분석(subgroup analysis), 민감도 분석(sensitivity analysis) 그리고 분석모형의 확장(meta-regression analysis)을 통해 이질성이 있는 연구들을 구체적으로 분석할 수 있다.

출판 편향(publication bias)

깔때기 그림은 x축에 효과 크기, y축에 효과 크기의 표준오차를 표기하여 연구들의 효과 크기와 표준오차의 분포 정도를 한눈에 파악할 수 있다(Fig. 1). 관찰된 효과 크기의 평균으로부터 좌우로 균등하게 분포하고, 표준오차가 작은 쪽에 분포되어 있을수록 이질성이 낮다는 정보를 알 수 있다. 동시에 깔때기 그림을 통해 비대칭성을 시각적으로 확인할 수 있으며 출판 편향의 존재 가능성 여부를 파악할 수 있다. 다만 깔때기 그림은 주관적일 수 있기 때문에 출판 편향의 존재 여부를 정량적으로 비대칭성을 확인하는 것이 좋다[11].

Fig. 1.Funnel plot.

Egger’s 회귀 검정과 Peters’ 회귀 검정은 깔때기 그림에서 비대칭성에 대한 정량적인 검정 방법이다. 그중 본 논문에서는 결과변수의 종류에 따라 크게 두 개의 검정 방법을 제시한다. 우선, 연속형인 경우 Egger 등[17]이 제안한 검정으로 단순 선형 회귀 모형(simple linear regression model)을 기반으로 한다.

θ^kSEθ^k=β0+β1×1SEθ^k

관찰된 효과 크기를 표준오차로 나눈 값을 종속변수로 두고, 효과 크기의 표준오차의 역수를 독립변수로 한 선형식을 만든다. 그리고 여기서 비대칭성을 검정하기 위해 절편에 해당하는 β0의 유의성을 확인한다. β0가 유의하지 않으면 β0 = 0으로 해석할 수 있고, 이는 비대칭성이 없음을 의미한다. 반대로 β0가 유의하다면 β00으로 비대칭성이 있음을 의미한다.

이분형인 경우 Peters’ 회귀 검정을 한다[18]. Egger’s 검정과 크게 다른 점은 연구마다 가중치를 다르게 사용한다는 점이다. 이유는 표본크기와 사건 수가 종속적이기 때문이다.

log(Ψk)=β0+β1×1nk
wk=11ak+ck+1bk+dk

Eggers’ 회귀 검정와 달리, Peters’ 검정에서는 β1을 사용하여 깔때기 그림의 비대칭성을 검정한다. 통계적으로 유의하면(β10), 비대칭성이 있음을 가정할 수 있다. 메타분석에 충분한 수의 연구가 포함되었다면 깔때기 그림 비대칭성을 확인하는 것이 좋다. 다만 연구 수가 적으면 Eggers’ 또는 Peters’ 검정을 사용하여 비대칭성을 검정하기 충분하지 않을 수 있다. 일반적으로 10개 이상의 연구 수를 가진 경우 검정하는 것이 좋다[19].

네트워크 메타분석(network meta-analysis)

최근에는 네트워크 메타분석(network meta-analysis)의 사용이 빠르게 증가하고 있다[20]. 기존 메타분석은 관심 있는 군 간의 효과 크기를 쌍별로 비교했다. 그러나 네트워크 메타분석은 기존의 여러 치료방법을 비교 및 평가하거나, 다른 연구에서 동일한 대조군을 사용한 경우 여러 치료 방법을 간접적으로 비교할 수 있다[21]. 추정된 효과 크기를 간접적인 비교를 위해 아래와 같은 식을 사용할 수 있으며,

θ^A,CIndirect=θ^Placebo,Aθ^Placebo,C

예를 들어 임상시험에서 동일한 위약을 사용한 연구가 존재할 때, 직접적으로 약물 A와 약물 B를 비교하진 않았지만 간접적으로 약물 A와 B의 효과차이를 추정할 수 있다. 이러한 이유로 네트워크 메타분석은 무작위 임상시험에서 직접 비교되지 않았을 수 있는 여러 중재의 효능 또는 안전성을 동시에 비교할 수 있다[22]. 네트워크 메타분석은 여러 쌍을 동시에 비교하게 되면서 연구 간의 이질성을 통합할 수 있다는 장점이 있다. 또한 앞선 쌍별 메타분석과 같이 연구의 동등성을 계산하여 제시할 수 있다. 이때 Q는 전체 이질성을 의미하고, Q를 사용해서 계산한 I2는 동질성을 의미한다.

I2=maxQTotaldfQTotal,0
df= k=1Kpk1(n1)

k는 연구의 전체 수, p는 연구 k에서 조건의 수, n은 네트워크 모델 내에서 치료 수이다.

네트워크 메타분석은 mixed-treatment comparison meta-analysis라고 불리기도 한다. 특히, 네트워크 메타분석의 특별한 경우인 혼합 치료 비교는 특정 쌍별 비교에 대한 직접 및 간접 증거를 결합하여 기존 메타분석보다 사용 가능한 증거의 더 많은 부분을 종합할 수 있다[23]. 따라서 의료 정책 및 의사 결정을 위한 여러 중재요인을 비교하는 데 사용되기도 하고, 여러 수준의 임계값을 비교할 수도 있다[24].

분석 사례

Ford 등[25]의 연구는 이전 메타분석 연구를 통해 헬리코박터 파일로리 제균 요법이 위암 예방에 효과가 있다는 사실이 통상적으로 알려져 있으나, 이후 더 많은 연구가 출간됨에 따라 메타분석을 업데이트하여 제균 치료가 위암 발생 위험에 미치는 영향을 평가했다. 이 연구에서는 RR을 효과 크기로 설정하고, 건강한 집단과 종양이 있는 집단으로 나누어 하위그룹 분석을 수행했다. 건강한 집단에서 제균 요법은 위암 발생률과 위암 사망률을 모두 감소시켰으며, 모든 원인에 의한 사망률에는 영향을 미치지 않았다. 종양이 있는 집단에서도 위암 발생률이 통계적으로 유의하게 감소했다. 이는 헬리코박터 파일로리 제균 요법이 건강한 집단뿐만 아니라 종양이 있는 집단에서도 위암 발생률을 낮춘다는 증거를 업데이트했다[25].

Lei 등[26]의 연구는 위암에서 복강경 위절제술과 개복 위절제술을 비교하기 위해 메타분석을 사용했다. 이 연구는 체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목을 따라 수행되었으며, 이질성의 정도에 따라 고정효과모형과 랜덤효과모형을 선택했다. 총 26개의 연구가 포함되었고, 결과는 두 수술 방법 간 합병증 발생률에 유의한 차이가 없음을 보여주었다. 또한, 복강경 위절제술이 수술 후 합병증 위험을 낮추고 미용적 이점을 제공하여 개복 위절제술의 대안이 될 수 있음을 제시했다[26].

그리고 Davey 등[27]의 연구는 위암에 대한 개복 위절제술, 복강경 위절제술, 로봇 위 절제술을 네트워크 메타분석을 통해 비교했다. 이 연구도 체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목을 따랐다. 네트워크 분석 결과, 개복 위절제술과 복강경 위절제술 간 재발률과 전 체 생존율에는 차이가 없었으나, 복강경 위절제술이 출혈량, 수술 절개 부위, 입원기간, 절제 후 이환율에서 더 나은 결과를 보였다. 로봇 위절제술도 복강경 위절제술과 비슷한 결과를 보여, 최소 침습적 접근법이 국소 위암 절제술에 적합함을 제안했다[27].

이와 같이 메타분석은 기존에 알려진 치료의 효과를 업데이트하거나, 기존의 수술 방법과 새로운 수술 방법의 장단점을 비교할 수 있다. 그리고 네트워크 메타분석을 통해 세 가지 이상의 수술 결과를 비교 분석할 수 있다.

메타분석은 기존 연구를 정량적으로 요약하며, 상충되는 연구들을 통합할 수 있다는 장점이 있다. 그리고 연구에 포함된 대상자와 연구의 이질성을 통계학적으로 고려한 해석도 가능하다. 메타분석을 수행할 때 연구 간 이질성 정도와 편향성을 평가하여 수집된 문헌으로부터 해석을 할 때 통계적으로 적절한 모형을 선택하는 것이 중요하다.

메타분석을 포함한 체계적 고찰은 치료효과에 대한 높은 수준의 증거를 나타낼 수 있다. 특히 소화기암 분야와 같이 연구가 활발한 질환에서 다기관, 다국가로 진행된 연구들을 포함하여 일반적인 연구 결과를 도출할 수 있을 것이다. 메타분석을 통해 추정된 효과는 관련된 의료기술의 평가가 가능하고, 일반적인 치료 방법을 제안할 수 있을 것이다. 또한 네트워크 메타분석을 통해 직·간접적인 비교할 수 있고 이는 새로운 연구를 위한 시간적, 금전적 비용을 줄일 수 있을 것이다.

No potential conflict of interest relevant to this article was reported.

Conceptualization: Nak-Hoon Son. Data curation: So Hyeon Gwon, Nak-Hoon Son. Formal analysis: Nak-Hoon Son. Investigation: So Hyeon Gwon, Nak-Hoon Son. Methodology: So Hyeon Gwon, Nak-Hoon Son. Resources: So Hyeon Gwon, Nak-Hoon Son. Software: So Hyeon Gwon, Nak-Hoon Son. Supervision: Nak-Hoon Son. Validation: So Hyeon Gwon, Nak-Hoon Son. Visualization: So Hyeon Gwon, Nak-Hoon Son. Writing–original draft: So Hyeon Gwon, Nak-Hoon Son. Writing–review & editing: So Hyeon Gwon, Nak-Hoon Son.

  1. Normand SL. Meta-analysis: formulating, evaluating, combining, and reporting. Stat Med 1999;18:321-359. https://doi.org/10.1002/(sici)1097-0258(19990215)18:3%3C321::aid-sim28%3E3.0.co;2-p.
    CrossRef
  2. Dawson DV, Pihlstrom BL, Blanchette DR. Understanding and evaluating meta-analysis. J Am Dent Assoc 2016;147:264-270. https://doi.org/10.1016/j.adaj.2015.10.023.
    Pubmed CrossRef
  3. Wallace SS, Barak G, Truong G, Parker MW. Hierarchy of evidence within the medical literature. Hosp Pediatr 2022;12:745-750. https://doi.org/10.1542/hpeds.2022-006690.
    Pubmed CrossRef
  4. Cumpston MS, McKenzie JE, Thomas J, Brennan SE. The use of 'PICO for synthesis' and methods for synthesis without meta-analysis: protocol for a survey of current practice in systematic reviews of health interventions. F1000Res 2020;9:678. https://doi.org/10.12688/f1000research.24469.2.
    Pubmed KoreaMed CrossRef
  5. Campbell M, Katikireddi SV, Sowden A, Thomson H. Lack of transparency in reporting narrative synthesis of quantitative data: a methodological assessment of systematic reviews. J Clin Epidemiol 2019;105:1-9. https://doi.org/10.1016/j.jclinepi.2018.08.019.
    Pubmed KoreaMed CrossRef
  6. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. J Clin Epidemiol 2021;134:178-189. https://doi.org/10.1016/j.jclinepi.2021.03.001.
    Pubmed CrossRef
  7. Methley AM, Campbell S, Chew-Graham C, McNally R, Cheraghi-Sohi S. PICO, PICOS and SPIDER: a comparison study of specificity and sensitivity in three search tools for qualitative systematic reviews. BMC Health Serv Res 2014;14:579. https://doi.org/10.1186/s12913-014-0579-0.
    Pubmed KoreaMed CrossRef
  8. Sterne JAC, Savović J, Page MJ, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4898. https://doi.org/10.1136/bmj.l4898.
    Pubmed CrossRef
  9. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355:i4919. https://doi.org/10.1136/bmj.i4919.
    Pubmed KoreaMed CrossRef
  10. Higgins JPT, Morgan RL, Rooney AA, et al. A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E). Environ Int 2024;186:108602. https://doi.org/10.1016/j.envint.2024.108602.
    Pubmed CrossRef
  11. Harrer M, Cuijpers P, Furukawa TA, Ebert DD. Doing meta-analysis with R: a hands-on guide. Doing meta-analysis with R: a hands-on guide. Boca Raton: Chapman and Hall/CRC, 2021.
    CrossRef
  12. Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V. Cochrane handbook for systematic reviews of interventions. ; 2024 [(accessed September 15, 2024)]. https://training.cochrane.org/handbook/current.
  13. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. BMJ 2003;327:557-560. https://doi.org/10.1136/bmj.327.7414.557.
    Pubmed KoreaMed CrossRef
  14. Borenstein M, Higgins JP, Hedges LV, Rothstein HR. Basics of meta-analysis: I2 is not an absolute measure of heterogeneity. Res Synth Methods 2017;8:5-18. https://doi.org/10.1002/jrsm.1230.
    Pubmed CrossRef
  15. Rücker G, Schwarzer G, Carpenter JR, Schumacher M. Undue reliance on I2 in assessing heterogeneity may mislead. BMC Med Res Methodol 2008;8:79. https://doi.org/10.1186/1471-2288-8-79.
    Pubmed KoreaMed CrossRef
  16. IntHout J, Ioannidis JP, Rovers MM, Goeman JJ. Plea for routinely presenting prediction intervals in meta-analysis. BMJ Open 2016;6:e010247. https://doi.org/10.1136/bmjopen-2015-010247.
    Pubmed KoreaMed CrossRef
  17. Egger M, Davey Smith G, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;315:629-634. https://doi.org/10.1136/bmj.315.7109.629.
    Pubmed KoreaMed CrossRef
  18. Peters JL, Sutton AJ, Jones DR, Abrams KR, Rushton L. Comparison of two methods to detect publication bias in meta-analysis. JAMA 2006;295:676-680. https://doi.org/10.1001/jama.295.6.676.
    Pubmed CrossRef
  19. Sterne JA, Sutton AJ, Ioannidis JP, et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;343:d4002. https://doi.org/10.1136/bmj.d4002.
    Pubmed CrossRef
  20. Pratt M, Wieland S, Ahmadzai N, et al. A scoping review of network meta-analyses assessing the efficacy and safety of complementary and alternative medicine interventions. Syst Rev 2020;9:97. https://doi.org/10.1186/s13643-020-01328-3.
    Pubmed KoreaMed CrossRef
  21. Puerto Nino AK, Brignardello-Petersen R. How to read a network meta-analysis. Eur Urol Focus 2023;9:701-704. https://doi.org/10.1016/j.euf.2023.10.018.
    Pubmed CrossRef
  22. Watt J, Del Giovane C. Network meta-analysis. Methods Mol Biol 2022;2345:187-201. https://doi.org/10.1007/978-1-0716-1566-9_12.
    Pubmed CrossRef
  23. Jansen JP, Fleurence R, Devine B, et al. Interpreting indirect treatment comparisons and network meta-analysis for health-care decision making: report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: part 1. Value Health 2011;14:417-428. https://doi.org/10.1016/j.jval.2011.04.002.
    Pubmed CrossRef
  24. Owen RK, Cooper NJ, Quinn TJ, Lees R, Sutton AJ. Network meta-analysis of diagnostic test accuracy studies identifies and ranks the optimal diagnostic tests and thresholds for health care policy and decision-making. J Clin Epidemiol 2018;99:64-74. https://doi.org/10.1016/j.jclinepi.2018.03.005.
    Pubmed CrossRef
  25. Ford AC, Yuan Y, Moayyedi P. Helicobacter pylori eradication therapy to prevent gastric cancer: systematic review and meta-analysis. Gut 2020;69:2113-2121. https://doi.org/10.1136/gutjnl-2020-320839.
    Pubmed CrossRef
  26. Lei X, Wang Y, Shan F, et al. Short-and long-term outcomes of laparoscopic versus open gastrectomy in patients with gastric cancer: a systematic review and meta-analysis of randomized controlled trials. World J Surg Oncol 2022;20:405. https://doi.org/10.1186/s12957-022-02818-5.
    Pubmed KoreaMed CrossRef
  27. Davey MG, Temperley HC, O'Sullivan NJ, et al. Minimally invasive and open gastrectomy for gastric cancer: a systematic review and network meta-analysis of randomized clinical trials. Ann Surg Oncol 2023;30:5544-5557. https://doi.org/10.1245/s10434-023-13654-6.
    Pubmed KoreaMed CrossRef

Article

Review Article

Journal of Digestive Cancer Research 2024; 12(3): 207-215

Published online December 20, 2024 https://doi.org/10.52927/jdcr.2024.12.3.207

Copyright © Korean Society of Gastrointestinal Cancer Research.

소화기암에서 체계적 문헌고찰과 메타분석을 활용한 의료기술 비교평가 방법

권소현, 손낙훈

계명대학교 통계학과

Received: September 30, 2024; Revised: October 9, 2024; Accepted: October 10, 2024

Systematic Review and Meta-analysis in Digestive Cancer Research

So Hyeon Gwon , Nak-Hoon Son

Department of Statistics, Keimyung University, Daegu, Korea

Correspondence to:Nak-Hoon Son
E-mail: nhson@kmu.ac.kr
https://orcid.org/0000-0002-6192-8852

Received: September 30, 2024; Revised: October 9, 2024; Accepted: October 10, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0). which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

This article highlights the role of meta-analysis as a statistical method for quantitatively summarizing existing research and reconciling conflicting findings. It discusses literature search methods for meta-analysis, the selection and interpretation of statistical models, and publication bias. Meta-analysis allows for the statistical consideration of homogeneity and heterogeneity among studies. Determining homogeneity and heterogeneity is crucial for selecting the appropriate meta-analysis model. Systematic reviews and meta-analyses provide a high level of evidence on treatment efficacy, especially when they include multicenter and multinational studies. In the case of well-researched disorders such as digestive cancer, meta-analysis can be useful in generalizing findings from existing papers, draw conclusions, and evaluate related medical technologies. Furthermore, these findings can be used to propose or enhance standards of care.

Keywords: Models, statistical, Meta-analysis, Publication bias, Systematic review

INTRODUCTION

시간이 흐름에 따라 연구의 양은 기하급수적으로 증가하고 있다. 이에 따라 같은 주제로 연구를 진행해도 다른 결과가 도출되기도 한다. 같은 문제에 대한 선행 연구들의 연구 결과를 체계적이고 계량적으로 통합하는 연구 방법이 메타분석(meta-analysis)이다. 메타분석은 임상 연구뿐만 아니라 심리학, 정보 시스템 등의 영역에서도 사용된다. 특히 메타분석은 출간된 연구의 정보를 결합하여 치료 효과와 이점을 추정하고 연구 간의 변동성을 평가하는 데도 유용한 도구이다[1,2].

Wallace 등[3]의 논문에서 근거의 계층구조에 따르면 인과관계 추론이 가장 높은 영역으로 체계적 문헌고찰과 메타분석이 존재한다. 그 아래로 무작위 대조 시험(randomized controlled clinical trial, RCT) 연구, 코호트(cohort) 연구, 사례-대조(case-control) 연구가 있고, 가장 낮은 인과관계 추론의 영역에는 사례 보고(case report)가 존재한다. 이때 체계적 문헌고찰을 위해 통계적 방법으로 메타분석이 사용되고 있다. 따라서 메타분석을 사용하지 않고 체계적 문헌고찰을 제시하기도 하며[4], Campbell 등[5]의 연구에서도 정량적 데이터의 서술적 문헌고찰(narrative synthesis of quantitative data) 비율은 56%이며 메타분석을 사용한 문헌고찰 비율은 44%였다. 체계적 문헌고찰과 메타분석이 동일한 것은 아니지만 메타분석을 사용함으로써 보다 앞선 연구들을 계량적으로 통합할 수 있고 강한 근거를 도출할 수 있다는 점에서 특히 의학 연구에서 추천된다[3]. 따라서 국내에서 빈번하게 발병하는 소화기암에 대한 메타분석을 수행하여 기존 논문들의 결과를 통합한 근거를 기반으로 의료기술을 계량적으로 평가할 수 있을 것이다.

메타분석을 하기 앞서 알고자 하는 연구 분야에 대한 전문 지식과 경험이 풍부해야 하며, 문헌 탐색과 선정이 중요하다. 문헌을 선택하는 과정에서 연구의 목적과 대상자, 평가 방법, 연구 디자인을 고려해야 하고, 선택된 문헌들을 통해 메타분석을 수행하게 된다. 이에 본 논문은 메타분석을 위한 문헌을 탐색하고 선정하는 방법으로 메타분석을 위해 수집되어야 하는 통계치, 메타분석의 모형 선택과 결과 해석에 대해 설명할 것이다.

MAIN SUBJECTS

메타분석의 장·단점

메타분석은 효과 크기(effect size)의 불확실성을 정량적으로 측정하여 여러 연구들을 종합적으로 평가할 수 있으며 이질성을 보정하여 개별 연구들 간의 논란을 해결할 수 있다. 또한 소규모 연구들의 결과를 합치면서 연구 대상자 수가 증가하여 검정력과 정밀도를 높일 수 있다. 이를 통해 모수를 더 정확하게 추정을 하고 통합된 결과를 기반으로 새로운 가설을 제공할 수 있으며, 결과에 영향을 끼칠만한 요인에 대해 분석도 가능하다는 장점이 있다. 앞서 출간된 선행 연구만으로 연구가 가능하기 때문에 의학연구윤리심의위원회(Institutional Review Board) 심의에서 면제되기도 한다.

다만, 위암과 골절을 비교하는 것과 같이 서로 비교할 수 없는 다른 디자인의 연구들을 종합하려는 문제가 발생할 수 있다. 예를 들어 연구의 실험설계, 표본, 측정의 타당도, 신뢰도, 자료 분석의 적절성에 따라 구분하지 않으면서 생길 수 있는 문제가 있다. 그리고 이미 출판된 연구를 대상으로 하므로 출판 편향(publication bias)이 존재할 수 있으며, 중재 변인의 개입이나 상호작용 효과를 무시하고 연구 결과를 지나치게 단순화할 수 있다는 단점이 있다.

따라서 이러한 한계점을 극복하기 위해, 체계적 문헌고찰 및 메타분석(systematic reviews and meta-analysis)에 대한 선호 보고 항목을 통해 연구를 식별, 선택, 평가 및 종합하는 흐름도를 체크하고[6], 체계적 문헌고찰을 위해 문헌 선택 방법으로 핵심질문(PICO)을 고려함으로써 문헌 간 일관성을 높일 수 있다[4,7].

문헌선택

체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목은 2009년에 문헌고찰을 수행한 이후부터 수행한 작업 및 내용을 투명하게 보고하기 위해 고안되었다. 최근 2020년에 연구를 식별하고, 선택, 평가 및 종합하는 방법에 대해 새로운 가이드라인이 제안되었다. 또한 체계적 문헌고찰 및 메타분석에 대해 체크 리스트와 흐름도를 제시하여 연구자에게 도움을 준다[6].

메타분석을 수행하기 전, 연구의 목적을 설정하고 검색엔진을 통해 문헌 정보를 수집해야 한다. 메타분석을 위한 문헌 선택 방법으로는 PICO(s)를 통해 연구의 목적에 부합한 문헌을 찾는 데 도움이 된다[4,7]. PICO는 다음의 약어로 구성되어 있다. 1) Population or Participants: 연구 대상자로 체계적 문헌고찰 연구에서 목표하는 연구 집단, 2) Intervention: 개입 방법으로 치료 혹은 처치를 받은 집단, 3) Comparison: 비교 집단을 정의한다. 그리고 두 집단 간의 4) Outcomes: 연구 결과를 메타분석에 사용한다. 추가로 5) Study designs: 연구 유형을 고려하여 메타분석을 위한 문헌 검색의 기준을 세울 수 있다.

또한 메타분석에 사용되는 연구들의 비뚤림(bias)을 평가하여 제시함으로써 선택된 연구들의 비뚤림 위험 정도를 알 수 있다. 이 비뚤림 위험은 크게 RCT인 경우와 비 RCT인 경우로 나눠서 평가한다. RCT인 경우 여러 평가 방법 중 ‘version 2 of the Cochrane risk-of-bias tool for randomized trials (RoB2)’을 대표적으로 사용한다[8]. 질문은 무작위 배정, 중재 이탈, 중재 결과 자료의 결측, 중재 결과의 측정, 연구결과 선택, 전반적인 비뚤림으로 6개가 있다. 그리고 각 질문에 대해 위험 정도를 ‘low risk’, ‘some concerns’, ‘high risk’와 같이 3단계로 평가한다. 비 RCT인 경우 중재 전후 연구를 평가하는 ‘risk of bias in non-randomized studies of interventions (ROBINS-I)’ [9]와 노출에 대한 연구를 평가하는 ‘risk of bias in non-randomized studies of exposures (ROBINS-E)’ [10]가 있다. 한국보건의료연구원(NECA)에서 국문으로 제공하는 버전은 ROBINS-I로 교란, 연구대상자의 선택, 중재분류, 이탈, 결측, 중재결과 측정, 연구 결과 선택의 비뚤림과 전체 비뚤림으로 8개의 질문이 있으며 4단계의 위험도를 ‘low risk’, ‘moderate risk’, ‘serious risk’, ‘critical risk’로 평가한다. 이 외 ROBINS-E는 영문으로 필요 시 사용할 수 있다(Table 1).

Table 1 . Evaluation of Risk of Bias by Study Design.

Risk of bias assessment toolRisk levelDomainDomains in English
RoB2- Low risk
- Some concerns
- High risk
1Randomization process
2Deviations from intended interventions
3Missing outcome data
4Measurement of the outcome
5Selection of the reported result
6Overall bias
ROBINS-I- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Bias due to confounding (pre-intervention)
2Bias in selection of participants into the study (pre-intervention)
3Bias in classification of interventions (at intervention)
4Bias due to deviations from intended interventions (post-intervention)
5Bias due to missing data (post-intervention)
6Bias in measurement of outcomes (post-intervention)
7Bias in selection of the reported result (post-intervention)
8Overall risk of bias
ROBINS-E- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Risk of bias due to confounding
2Risk of bias arising from measurement of the exposure
3Risk of bias in selection of participants into the study (or into the analysis)
4Risk of bias due to post-exposure interventions
5Risk of bias due to missing data
6Risk of bias arising from measurement of the outcome
7Risk of bias in selection of the reported result


효과 크기(effect size)

각 연구에 표기된 통계치가 단위 기준에 따라 상이할 수가 있다. 따라서 메타분석의 결과는 효과 크기라는 집단 간 표준화된 차이를 제시한다. 이를 통해 두 집단 간의 차이나 관계를 정량적으로 평가할 수 있다. 효과 크기는 결과 변수의 유형에 따라 다양하게 계산된다.

결과 변수가 연속형인 경우, 두 집단 간의 평균 차이를 표준화한 standardized mean difference (SMD)를 계산한다. 보통 Cohen’s d를 가장 빈번히 사용하며 두 집단의 평균 차이를 표준 편차로 나누어 표준화한 값이다.

SMD=X¯TX¯C(nT1)ST2+(nC1)SC2 nT+nC2

여기서 X¯T, X¯C는 각각 치료군의 표본평균과 대조군의 표본평균을 의미하고, nT, nC는 치료군의 표본 수와 대조군의 표본 수, ST, SC는 치료군의 표준편차와 대조군의 표준편차를 의미한다. SMD는 표준편차의 단위가 평균의 단위와 같기 때문에 단위를 고려하지 않고 쉽게 해석할 수 있다.

결과 변수가 범주형인 경우, 효과 크기를 평가하기 위해 log risk ratio (log RR)과 log odds ratio (log OR), 위험차이(risk difference, RD)를 사용한다(Table 2).

Table 2 . Incidence of Event by Group.

EventNon-eventTotal
Experimentaln11n12n11 + n12
Controln21n22n21 + n22
Totaln11 + n21n12 + n22N


위험비(risk ratio, RR)는 대조군과 실험군에서 사건이 발생할 확률을 각각 계산하고, 대조군 대비 실험군에서 사건이 발생할 확률이 몇 배 증가하는지 알아보는 것이다.

RR=n11/(n11+n22)n21/(n21+n22)

따라서 RR이 1인 경우에는 대조군과 실험군의 사건 발생 비율의 차이 없다고 해석할 수 있고, 1보다 큰 경우 대조군 대비 실험군에서 사건이 발생할 RR이 증가한다고 해석한다.

오즈비(odds ratio, OR)는 각 집단에서 사건의 발생 오즈(odds)에 대한 비를 의미한다. 사건의 발생 오즈란 사건 발생 빈도를 사건이 발생하지 않은 빈도로 나누는 것이다. 따라서 OR이란 대조군의 오즈와 실험군의 오즈의 비를 의미하며, 대조군의 사건 오즈 대비 실험군의 사건 오즈가 몇 배 높은지 알 수 있다.

Odds=n11n12
OR=n11/n12n21/n22=n11×n22n12×n21

OR이 1인 경우 대조군과 실험군의 사건 OR 차이가 없다고 해석한다. 그리고 OR이 1보다 큰 경우 대조군 대비 실험군에서 사건 OR이 증가한다고 해석한다. RR은 각 집단내 사건 발생 확률의 비를 의미하며 코호트 연구에 적합하고, OR은 각 집단에서 사건 발생 오즈의 비를 의미하며 사례-대조 연구에 적합하다. RR과 OR은 log 변환을 통해 효과 크기를 사용하기도 한다.

RD는 두 집단의 사건 발생 확률 차이를 의미한다. 대조군 대비 실험군에서 사건 발생 확률이 얼마나 더 증감하는지 알 수 있다.

RD=n11n11+n12=n21n21+n22

RR, OR과 달리 RD가 0인 경우 ‘대조군과 실험군의 사건 발생 확률 차이가 없다’고 해석한다. RD가 0이 아닌 경우 ‘대조군 대비 실험군에서 사건 RD가 %p이다’라고 해석한다. 이러한 지표들은 범주형 데이터에서 두 집단 간의 차이나 연관성을 평가하는 데 유용하게 사용된다.

분석모형(meta-analysis model)

분석모형은 고정효과모형(fixed effect model)과 랜덤효과모형(random effect model)으로 나뉜다. 고정효과모형은 모든 연구의 모집단이 동일하고, 연구간의 차이는 표집 오류로 인한 것으로 가정한다. 즉, 고정효과모형에서 평균 효과 크기는 동일한 모집단에 대한 효과 크기의 추정치를 의미한다.

yi=θ+εi,εi~N(0,vi)

고정효과모형에서 사용하는 분산(vi) 추정 방법으로 역분산 추정법(generic inverse variance estimation method), 멘텔-헨젤 추정법(Mantel-Haenszel estimation method), 피토 추정법(Peto estimation method)이 있다. 일반적으로 역분산 추정법을 사용하면 가중치(wi)는 분산(vi)의 역수가 되며, 이를 사용해서 추정된 효과 크기(θ^)를 도출한다.

wi=1vi
θ^= i=1kwiyi i=1kwi

연구에 포함된 표본 수나 사건의 수가 적을 때는 역분산 추정법보다 멘텔-헨젤 추정법을 사용할 수 있다. 그리고 두 집단의 표본 수가 유사하고 사건 발생 수가 유사하여 OR이 1에 근사할 경우 피토 추정법을 사용할 수 있다.

랜덤효과모형은 연구마다 주체, 치료 방법, 기간이 다르기 때문에 모든 연구의 모집단은 다르고, 따라서 개별 연구의 다른 모집단에 대한 효과 크기를 추정하게 된다. 수식에서는 고정효과모형에서 개별연구의 효과 크기를 의미하는 ui가 추가되며, uiτ2만큼의 집단간 변동성(variation)을 가진다. 즉, 고정효과모형의 θ=μ+ui가 되어 개별 연구의 변동성을 포함한다.

yi=μ+ui+εi
ui~N(0,τ2),εi~N(0,vi)
μ^= i=1kwiyi i=1kwi
wi=1τ^2+vi,τ^2=E(τ2)

(τ2: 집단간 변동 = 실제효과/결과의 ‘잔여 이질성’의 양)

랜덤효과모형에서 사용하는 분산 추정식은 연구 내 분산(vi)뿐만 아니라 연구 간 분산(τ2)을 고려해서 가중치를 계산한다.

비교하자면 고정효과모형은 평균효과 크기를 고려할 때 연구 내 분산(vi)만 고려하기 때문에 평균 효과 크기의 신뢰구간이 좁게 나타나고, 분산 추정 방법에 따라 분산이 작은 연구는 평균효과 크기에 큰 영향을 미친다. 반면 랜덤효과모형은 연구 내 분산(vi)과 연구 간 분산(τ2)을 모두 고려하기 때문에 평균효과 크기의 신뢰구간이 고정효과모형에 비해 넓게 나타나게 된다.

랜덤효과모형에서 연구 간 분산(τ2)이 0이라면 yi = 가 되어 고정효과모형과 같아진다. 즉, 연구 간 이질성이 존재하지 않는다면 고정효과모형과 랜덤효과모형의 결과가 유사하게 나올 것이며, 연구 간 이질성이 존재한다면 를 고려한 랜덤효과모형을 선택하는 것이 적절하다.

이질성(heterogeneity)

이질성이란 연구들 간의 차이 정도를 의미하며 메타분석 내에서 효과 크기가 달라지는 정도를 의미한다. 랜덤효과모형에서는 연구 간의 이질성 때문에 연구의 실제효과 크기가 다를 수 있음을 가정하여 τ2를 포함한다. 따라서 랜덤효과모형은 연구 간 이질성이 존재할 때도 효과 μ+εi크기를 잘 계산할 수 있다. 하지만 높은 이질성을 가지는 경우 해석의 의미가 없을 수도 있다. 따라서 메타분석 결과를 제시할 때 전체적인 효과 크기뿐만 아니라 연구 간 이질성을 정량화하여 함께 제시하는 것이 연구 결과의 신뢰성을 높일 수 있다[11].

전통적으로 메타분석에서 연구 간 이질성으로부터 연구의 표집 오류를 구별하기 위해 Cochran’s Q를 사용한다. Q는 개별 연구들이 얼마나 동질적인지를 나타내는 지표로 사용한다.

Q= k=1Kwk(θ^kθ^)2

θ^는 추정된 효과 크기, θ^k는 각 연구의 관찰된 효과 크기, wk는 연구 내 분산의 역수를 의미한다. 즉, Q 통계량은 잔차(θ^kθ^)에 가중치 wk를 곱한 합으로 θ^로부터 θ^k가 얼마나 벗어나는지 뿐만 아니라 연구의 정밀도를 고려한 값이다. 만약 연구효과의 표준오차가 작다면 정밀도가 증가하고 Q 통계량도 커질 것이다. 이러한 Q 통계량으로 큰 변동을 확인할 수 있고, 이는 표집 오류로 인한 변동 외에 다른 변동이 있었는지 확인이 가능하다. 이 외에 나머지 변동은 연구 간 이질성으로 가정한다. Q-test의 귀무 가설(null hypothesis)은 ‘이질성이 없다(no heterogeneity)’이며, Q-test를 할 때 표본크기가 작거나 연구 수가 적은 메타분석의 상황에서 검정력이 낮기 때문에 해석에 주의해야 한다. Q 통계량은 연구의 크기에 영향을 받기 때문에 유의수준 0.05가 다소 보수적인 결과를 내놓게 된다. 따라서 통계적으로 이질성이 존재하지만 이질성이 없다는 결과를 내지 않도록 하기 위해 유의수준 0.1을 기준으로 사용한다[12].

연구 간 이질성 정도를 판단하기 위한 또 다른 값으로는 I2가 있다. I2는 메타분석에 포함되는 여러 연구들의 이질성을 판단하기 위해 정량적으로 사용하는 값으로 Cochran’s Q를 사용한 수식을 사용한다.

I2=Q(K1)Q

여기서 K는 연구의 총 수를 의미한다.

I2는 총 분산에 대한 실제 개별 연구 간 분산의 비율을 의미하여 0%에서 100%의 범위를 가진다. 만약 Q < K – 1인 경우 음수가 계산되기도 하는데 이때는 0%로 올림 한다. I2가 25% 정도는 낮은 이질성, 50%는 중간 이질성, 75%는 높은 이질성을 가진다고 판단한다[13].

H 통계량은 I2와 유사하게 Cochran’s Q를 사용해서 계산한다. H 통계량은 QK – 1보다 작을 때 인위적으로 수정하지 않는다.

H2=QK1

연구 간 이질성이 없는 경우 H2는 1 또는 1 미만의 값을 가지게 되고, 1보다 크면 연구 간 이질성이 존재한다고 판단한다.

하지만 일부 학자들은 Q 통계량은 개별 연구의 개수가 증가할수록 Q도 증가하기 때문에 이 검정 결과로 모형을 선택하는 것을 추천하지 않으며, I2H 역시 정밀도의 영향을 받기 때문에 신뢰구간을 함께 제시하거나[14], τ2를 보고하기를 제안한다[15]. 또는 prediction intervals가 연구의 개수와 정밀도의 한계점을 극복한 방법으로 제안되기도 한다[16].

만약 연구 간 이질성이 존재한다면 랜덤효과모형을 선택하는 것이 효과 크기의 해석에 바람직하다. 또 다른 방법으로는 하위그룹 분석(subgroup analysis), 민감도 분석(sensitivity analysis) 그리고 분석모형의 확장(meta-regression analysis)을 통해 이질성이 있는 연구들을 구체적으로 분석할 수 있다.

출판 편향(publication bias)

깔때기 그림은 x축에 효과 크기, y축에 효과 크기의 표준오차를 표기하여 연구들의 효과 크기와 표준오차의 분포 정도를 한눈에 파악할 수 있다(Fig. 1). 관찰된 효과 크기의 평균으로부터 좌우로 균등하게 분포하고, 표준오차가 작은 쪽에 분포되어 있을수록 이질성이 낮다는 정보를 알 수 있다. 동시에 깔때기 그림을 통해 비대칭성을 시각적으로 확인할 수 있으며 출판 편향의 존재 가능성 여부를 파악할 수 있다. 다만 깔때기 그림은 주관적일 수 있기 때문에 출판 편향의 존재 여부를 정량적으로 비대칭성을 확인하는 것이 좋다[11].

Figure 1. Funnel plot.

Egger’s 회귀 검정과 Peters’ 회귀 검정은 깔때기 그림에서 비대칭성에 대한 정량적인 검정 방법이다. 그중 본 논문에서는 결과변수의 종류에 따라 크게 두 개의 검정 방법을 제시한다. 우선, 연속형인 경우 Egger 등[17]이 제안한 검정으로 단순 선형 회귀 모형(simple linear regression model)을 기반으로 한다.

θ^kSEθ^k=β0+β1×1SEθ^k

관찰된 효과 크기를 표준오차로 나눈 값을 종속변수로 두고, 효과 크기의 표준오차의 역수를 독립변수로 한 선형식을 만든다. 그리고 여기서 비대칭성을 검정하기 위해 절편에 해당하는 β0의 유의성을 확인한다. β0가 유의하지 않으면 β0 = 0으로 해석할 수 있고, 이는 비대칭성이 없음을 의미한다. 반대로 β0가 유의하다면 β00으로 비대칭성이 있음을 의미한다.

이분형인 경우 Peters’ 회귀 검정을 한다[18]. Egger’s 검정과 크게 다른 점은 연구마다 가중치를 다르게 사용한다는 점이다. 이유는 표본크기와 사건 수가 종속적이기 때문이다.

log(Ψk)=β0+β1×1nk
wk=11ak+ck+1bk+dk

Eggers’ 회귀 검정와 달리, Peters’ 검정에서는 β1을 사용하여 깔때기 그림의 비대칭성을 검정한다. 통계적으로 유의하면(β10), 비대칭성이 있음을 가정할 수 있다. 메타분석에 충분한 수의 연구가 포함되었다면 깔때기 그림 비대칭성을 확인하는 것이 좋다. 다만 연구 수가 적으면 Eggers’ 또는 Peters’ 검정을 사용하여 비대칭성을 검정하기 충분하지 않을 수 있다. 일반적으로 10개 이상의 연구 수를 가진 경우 검정하는 것이 좋다[19].

네트워크 메타분석(network meta-analysis)

최근에는 네트워크 메타분석(network meta-analysis)의 사용이 빠르게 증가하고 있다[20]. 기존 메타분석은 관심 있는 군 간의 효과 크기를 쌍별로 비교했다. 그러나 네트워크 메타분석은 기존의 여러 치료방법을 비교 및 평가하거나, 다른 연구에서 동일한 대조군을 사용한 경우 여러 치료 방법을 간접적으로 비교할 수 있다[21]. 추정된 효과 크기를 간접적인 비교를 위해 아래와 같은 식을 사용할 수 있으며,

θ^A,CIndirect=θ^Placebo,Aθ^Placebo,C

예를 들어 임상시험에서 동일한 위약을 사용한 연구가 존재할 때, 직접적으로 약물 A와 약물 B를 비교하진 않았지만 간접적으로 약물 A와 B의 효과차이를 추정할 수 있다. 이러한 이유로 네트워크 메타분석은 무작위 임상시험에서 직접 비교되지 않았을 수 있는 여러 중재의 효능 또는 안전성을 동시에 비교할 수 있다[22]. 네트워크 메타분석은 여러 쌍을 동시에 비교하게 되면서 연구 간의 이질성을 통합할 수 있다는 장점이 있다. 또한 앞선 쌍별 메타분석과 같이 연구의 동등성을 계산하여 제시할 수 있다. 이때 Q는 전체 이질성을 의미하고, Q를 사용해서 계산한 I2는 동질성을 의미한다.

I2=maxQTotaldfQTotal,0
df= k=1Kpk1(n1)

k는 연구의 전체 수, p는 연구 k에서 조건의 수, n은 네트워크 모델 내에서 치료 수이다.

네트워크 메타분석은 mixed-treatment comparison meta-analysis라고 불리기도 한다. 특히, 네트워크 메타분석의 특별한 경우인 혼합 치료 비교는 특정 쌍별 비교에 대한 직접 및 간접 증거를 결합하여 기존 메타분석보다 사용 가능한 증거의 더 많은 부분을 종합할 수 있다[23]. 따라서 의료 정책 및 의사 결정을 위한 여러 중재요인을 비교하는 데 사용되기도 하고, 여러 수준의 임계값을 비교할 수도 있다[24].

분석 사례

Ford 등[25]의 연구는 이전 메타분석 연구를 통해 헬리코박터 파일로리 제균 요법이 위암 예방에 효과가 있다는 사실이 통상적으로 알려져 있으나, 이후 더 많은 연구가 출간됨에 따라 메타분석을 업데이트하여 제균 치료가 위암 발생 위험에 미치는 영향을 평가했다. 이 연구에서는 RR을 효과 크기로 설정하고, 건강한 집단과 종양이 있는 집단으로 나누어 하위그룹 분석을 수행했다. 건강한 집단에서 제균 요법은 위암 발생률과 위암 사망률을 모두 감소시켰으며, 모든 원인에 의한 사망률에는 영향을 미치지 않았다. 종양이 있는 집단에서도 위암 발생률이 통계적으로 유의하게 감소했다. 이는 헬리코박터 파일로리 제균 요법이 건강한 집단뿐만 아니라 종양이 있는 집단에서도 위암 발생률을 낮춘다는 증거를 업데이트했다[25].

Lei 등[26]의 연구는 위암에서 복강경 위절제술과 개복 위절제술을 비교하기 위해 메타분석을 사용했다. 이 연구는 체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목을 따라 수행되었으며, 이질성의 정도에 따라 고정효과모형과 랜덤효과모형을 선택했다. 총 26개의 연구가 포함되었고, 결과는 두 수술 방법 간 합병증 발생률에 유의한 차이가 없음을 보여주었다. 또한, 복강경 위절제술이 수술 후 합병증 위험을 낮추고 미용적 이점을 제공하여 개복 위절제술의 대안이 될 수 있음을 제시했다[26].

그리고 Davey 등[27]의 연구는 위암에 대한 개복 위절제술, 복강경 위절제술, 로봇 위 절제술을 네트워크 메타분석을 통해 비교했다. 이 연구도 체계적 문헌고찰 및 메타분석에 대한 선호 보고 항목을 따랐다. 네트워크 분석 결과, 개복 위절제술과 복강경 위절제술 간 재발률과 전 체 생존율에는 차이가 없었으나, 복강경 위절제술이 출혈량, 수술 절개 부위, 입원기간, 절제 후 이환율에서 더 나은 결과를 보였다. 로봇 위절제술도 복강경 위절제술과 비슷한 결과를 보여, 최소 침습적 접근법이 국소 위암 절제술에 적합함을 제안했다[27].

이와 같이 메타분석은 기존에 알려진 치료의 효과를 업데이트하거나, 기존의 수술 방법과 새로운 수술 방법의 장단점을 비교할 수 있다. 그리고 네트워크 메타분석을 통해 세 가지 이상의 수술 결과를 비교 분석할 수 있다.

CONCLUSION

메타분석은 기존 연구를 정량적으로 요약하며, 상충되는 연구들을 통합할 수 있다는 장점이 있다. 그리고 연구에 포함된 대상자와 연구의 이질성을 통계학적으로 고려한 해석도 가능하다. 메타분석을 수행할 때 연구 간 이질성 정도와 편향성을 평가하여 수집된 문헌으로부터 해석을 할 때 통계적으로 적절한 모형을 선택하는 것이 중요하다.

메타분석을 포함한 체계적 고찰은 치료효과에 대한 높은 수준의 증거를 나타낼 수 있다. 특히 소화기암 분야와 같이 연구가 활발한 질환에서 다기관, 다국가로 진행된 연구들을 포함하여 일반적인 연구 결과를 도출할 수 있을 것이다. 메타분석을 통해 추정된 효과는 관련된 의료기술의 평가가 가능하고, 일반적인 치료 방법을 제안할 수 있을 것이다. 또한 네트워크 메타분석을 통해 직·간접적인 비교할 수 있고 이는 새로운 연구를 위한 시간적, 금전적 비용을 줄일 수 있을 것이다.

FUNDING

None.

CONFLICTS OF INTEREST

No potential conflict of interest relevant to this article was reported.

AUTHOR’S CONTRIBUTIONS

Conceptualization: Nak-Hoon Son. Data curation: So Hyeon Gwon, Nak-Hoon Son. Formal analysis: Nak-Hoon Son. Investigation: So Hyeon Gwon, Nak-Hoon Son. Methodology: So Hyeon Gwon, Nak-Hoon Son. Resources: So Hyeon Gwon, Nak-Hoon Son. Software: So Hyeon Gwon, Nak-Hoon Son. Supervision: Nak-Hoon Son. Validation: So Hyeon Gwon, Nak-Hoon Son. Visualization: So Hyeon Gwon, Nak-Hoon Son. Writing–original draft: So Hyeon Gwon, Nak-Hoon Son. Writing–review & editing: So Hyeon Gwon, Nak-Hoon Son.

Fig 1.

Figure 1.Funnel plot.
Journal of Digestive Cancer Research 2024; 12: 207-215https://doi.org/10.52927/jdcr.2024.12.3.207

Table 1 . Evaluation of Risk of Bias by Study Design.

Risk of bias assessment toolRisk levelDomainDomains in English
RoB2- Low risk
- Some concerns
- High risk
1Randomization process
2Deviations from intended interventions
3Missing outcome data
4Measurement of the outcome
5Selection of the reported result
6Overall bias
ROBINS-I- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Bias due to confounding (pre-intervention)
2Bias in selection of participants into the study (pre-intervention)
3Bias in classification of interventions (at intervention)
4Bias due to deviations from intended interventions (post-intervention)
5Bias due to missing data (post-intervention)
6Bias in measurement of outcomes (post-intervention)
7Bias in selection of the reported result (post-intervention)
8Overall risk of bias
ROBINS-E- Low risk
- Moderate risk
- Serious risk
- Critical risk
1Risk of bias due to confounding
2Risk of bias arising from measurement of the exposure
3Risk of bias in selection of participants into the study (or into the analysis)
4Risk of bias due to post-exposure interventions
5Risk of bias due to missing data
6Risk of bias arising from measurement of the outcome
7Risk of bias in selection of the reported result

Table 2 . Incidence of Event by Group.

EventNon-eventTotal
Experimentaln11n12n11 + n12
Controln21n22n21 + n22
Totaln11 + n21n12 + n22N

References

  1. Normand SL. Meta-analysis: formulating, evaluating, combining, and reporting. Stat Med 1999;18:321-359. https://doi.org/10.1002/(sici)1097-0258(19990215)18:3%3C321::aid-sim28%3E3.0.co;2-p.
    CrossRef
  2. Dawson DV, Pihlstrom BL, Blanchette DR. Understanding and evaluating meta-analysis. J Am Dent Assoc 2016;147:264-270. https://doi.org/10.1016/j.adaj.2015.10.023.
    Pubmed CrossRef
  3. Wallace SS, Barak G, Truong G, Parker MW. Hierarchy of evidence within the medical literature. Hosp Pediatr 2022;12:745-750. https://doi.org/10.1542/hpeds.2022-006690.
    Pubmed CrossRef
  4. Cumpston MS, McKenzie JE, Thomas J, Brennan SE. The use of 'PICO for synthesis' and methods for synthesis without meta-analysis: protocol for a survey of current practice in systematic reviews of health interventions. F1000Res 2020;9:678. https://doi.org/10.12688/f1000research.24469.2.
    Pubmed KoreaMed CrossRef
  5. Campbell M, Katikireddi SV, Sowden A, Thomson H. Lack of transparency in reporting narrative synthesis of quantitative data: a methodological assessment of systematic reviews. J Clin Epidemiol 2019;105:1-9. https://doi.org/10.1016/j.jclinepi.2018.08.019.
    Pubmed KoreaMed CrossRef
  6. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. J Clin Epidemiol 2021;134:178-189. https://doi.org/10.1016/j.jclinepi.2021.03.001.
    Pubmed CrossRef
  7. Methley AM, Campbell S, Chew-Graham C, McNally R, Cheraghi-Sohi S. PICO, PICOS and SPIDER: a comparison study of specificity and sensitivity in three search tools for qualitative systematic reviews. BMC Health Serv Res 2014;14:579. https://doi.org/10.1186/s12913-014-0579-0.
    Pubmed KoreaMed CrossRef
  8. Sterne JAC, Savović J, Page MJ, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4898. https://doi.org/10.1136/bmj.l4898.
    Pubmed CrossRef
  9. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355:i4919. https://doi.org/10.1136/bmj.i4919.
    Pubmed KoreaMed CrossRef
  10. Higgins JPT, Morgan RL, Rooney AA, et al. A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E). Environ Int 2024;186:108602. https://doi.org/10.1016/j.envint.2024.108602.
    Pubmed CrossRef
  11. Harrer M, Cuijpers P, Furukawa TA, Ebert DD. Doing meta-analysis with R: a hands-on guide. Doing meta-analysis with R: a hands-on guide. Boca Raton: Chapman and Hall/CRC, 2021.
    CrossRef
  12. Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V. Cochrane handbook for systematic reviews of interventions. ; 2024 [(accessed September 15, 2024)]. https://training.cochrane.org/handbook/current.
  13. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. BMJ 2003;327:557-560. https://doi.org/10.1136/bmj.327.7414.557.
    Pubmed KoreaMed CrossRef
  14. Borenstein M, Higgins JP, Hedges LV, Rothstein HR. Basics of meta-analysis: I2 is not an absolute measure of heterogeneity. Res Synth Methods 2017;8:5-18. https://doi.org/10.1002/jrsm.1230.
    Pubmed CrossRef
  15. Rücker G, Schwarzer G, Carpenter JR, Schumacher M. Undue reliance on I2 in assessing heterogeneity may mislead. BMC Med Res Methodol 2008;8:79. https://doi.org/10.1186/1471-2288-8-79.
    Pubmed KoreaMed CrossRef
  16. IntHout J, Ioannidis JP, Rovers MM, Goeman JJ. Plea for routinely presenting prediction intervals in meta-analysis. BMJ Open 2016;6:e010247. https://doi.org/10.1136/bmjopen-2015-010247.
    Pubmed KoreaMed CrossRef
  17. Egger M, Davey Smith G, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;315:629-634. https://doi.org/10.1136/bmj.315.7109.629.
    Pubmed KoreaMed CrossRef
  18. Peters JL, Sutton AJ, Jones DR, Abrams KR, Rushton L. Comparison of two methods to detect publication bias in meta-analysis. JAMA 2006;295:676-680. https://doi.org/10.1001/jama.295.6.676.
    Pubmed CrossRef
  19. Sterne JA, Sutton AJ, Ioannidis JP, et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;343:d4002. https://doi.org/10.1136/bmj.d4002.
    Pubmed CrossRef
  20. Pratt M, Wieland S, Ahmadzai N, et al. A scoping review of network meta-analyses assessing the efficacy and safety of complementary and alternative medicine interventions. Syst Rev 2020;9:97. https://doi.org/10.1186/s13643-020-01328-3.
    Pubmed KoreaMed CrossRef
  21. Puerto Nino AK, Brignardello-Petersen R. How to read a network meta-analysis. Eur Urol Focus 2023;9:701-704. https://doi.org/10.1016/j.euf.2023.10.018.
    Pubmed CrossRef
  22. Watt J, Del Giovane C. Network meta-analysis. Methods Mol Biol 2022;2345:187-201. https://doi.org/10.1007/978-1-0716-1566-9_12.
    Pubmed CrossRef
  23. Jansen JP, Fleurence R, Devine B, et al. Interpreting indirect treatment comparisons and network meta-analysis for health-care decision making: report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: part 1. Value Health 2011;14:417-428. https://doi.org/10.1016/j.jval.2011.04.002.
    Pubmed CrossRef
  24. Owen RK, Cooper NJ, Quinn TJ, Lees R, Sutton AJ. Network meta-analysis of diagnostic test accuracy studies identifies and ranks the optimal diagnostic tests and thresholds for health care policy and decision-making. J Clin Epidemiol 2018;99:64-74. https://doi.org/10.1016/j.jclinepi.2018.03.005.
    Pubmed CrossRef
  25. Ford AC, Yuan Y, Moayyedi P. Helicobacter pylori eradication therapy to prevent gastric cancer: systematic review and meta-analysis. Gut 2020;69:2113-2121. https://doi.org/10.1136/gutjnl-2020-320839.
    Pubmed CrossRef
  26. Lei X, Wang Y, Shan F, et al. Short-and long-term outcomes of laparoscopic versus open gastrectomy in patients with gastric cancer: a systematic review and meta-analysis of randomized controlled trials. World J Surg Oncol 2022;20:405. https://doi.org/10.1186/s12957-022-02818-5.
    Pubmed KoreaMed CrossRef
  27. Davey MG, Temperley HC, O'Sullivan NJ, et al. Minimally invasive and open gastrectomy for gastric cancer: a systematic review and network meta-analysis of randomized clinical trials. Ann Surg Oncol 2023;30:5544-5557. https://doi.org/10.1245/s10434-023-13654-6.
    Pubmed KoreaMed CrossRef

Journal Info

JDCR
Vol.12 No.3
December 20, 2024
eISSN : 2950-9505
pISSN : 2950-9394
Frequency: Triannual

open access

Article Tools

Stats or Metrics

Share this article on

  • line

Journal of Digestive Cancer Research

eISSN 2950-9505
pISSN 2950-9394

  • 2021
  • 2022
  • 2023
  • 2024
  • 2025