• Sitemap
  • Contact Us

pISSN 2950-9114 eISSN 2950-9122
Article View

Original Article

Lab Med Qual Assur 2023; 45(4): 166-172

Published online December 31, 2023

https://doi.org/10.15263/jlmqa.2023.45.4.166

Copyright © Korean Association of External Quality Assessment Service.

Variability in the Cycle Threshold Values of SARS-CoV-2 Real-Time Reverse Transcription Polymerase Chain Reaction Test: A Review of the Nationwide Proficiency Testing Survey in Korea

Kuenyoul Park1,2 , Heungsup Sung1 , and Mi-Na Kim1

1Department of Laboratory Medicine, Asan Medical Center, University of Ulsan College of Medicine; 2Department of Laboratory Medicine, Sanggye Paik Hospital, College of Medicine, Inje University, Seoul, Korea

Correspondence to:Heungsup Sung
Department of Laboratory Medicine, Asan Medical Center, University of Ulsan College of Medicine, 88 Olympic-ro 43-gil, Songpa-gu, Seoul 05505, Korea
Tel +82-2-3010-4499
E-mail sung@amc.seoul.kr

Received: August 18, 2023; Revised: September 28, 2023; Accepted: September 28, 2023

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Background: A nationwide proficiency test result for the severe acute respiratory syndrome coronavirus 2 real-time reverse transcription polymerase chain reaction (rRT-PCR) was analyzed to investigate the intra- and interlaboratory variations in the cycle threshold (Ct) values.
Methods: Four different types of contrived samples, including five positive samples with three different concentrations and two negative samples, were sent to participating laboratories in March/October 2022. This study examined the variations in the extraction kits and PCR reagents used in the laboratories.
Results: Overall, 278 and 301 laboratories responded to each challenge. In the first challenge, five laboratories (1.8%) provided incorrect results—three false positives and two false negatives from one positive and one weak-positive sample. In the second challenge, only two laboratories (0.7%) provided incorrect results—one false positive and one false negative from one positive sample. The intralaboratory variations of the Ct values in the first and second challenges were deemed unacceptable (Ct >1.66) in 7 (2.5%) and 14 (4.7%) laboratories, respectively; one laboratory showed unacceptable intralaboratory variations for both positive and weak-positive samples in the second challenge. The interlaboratory variability of the Ct values for two commonly used rRT-PCR reagents was remarkable, with a difference of up to eight cycles observed for the same specimen.
Conclusions: The overall performance and intralaboratory variability of the test were acceptable in most participating laboratories. However, caution should be exercised when interpreting the results from other institutions due to the remarkable interlaboratory variability of the Ct values.

Keywords: Cycle threshold, PCR reagents, Extraction kits, Interlaboratory variation, Laboratory proficiency testing, SARS-CoV-2

Cycle threshold (Ct) 값은 검체에서 severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2)의 반정량적 추정치로 생각되며 임상적으로 환자에서 감염성을 예측하는 지표로 사용된다[1,2]. 그러나 많은 전문가들은 정성검사인 SARS-CoV-2 polymerase chain reaction (PCR) 검사에서 Ct값을 임상에서 직접적으로 사용하는 것을 권장하지 않는다[3,4]. 실제로 한국, 오스트리아와 미국의 신빙도조사사업 결과 검사실 간의 Ct값 편차가 유의미하게 보였다[5-8]. 그러나 신빙도조사사업에서 검사실 내 Ct값 편차가 1.66 이상인 경우는 적어, 대부분의 국내 검사실에서 같은 검체에서 검사실 내 재현성은 신뢰할 만하였다[8].

이 연구를 통해 2022년에 시행된 신빙도조사사업 결과를 분석하여 국내 검사실 내 Ct값 편차를 확인하고자 하였다. 이 연구는 SARS-CoV-2 유병률이 급격히 상승하였던[9] 2022년 SARS-CoV-2 실시간 역전사 중합효소연쇄반응(real-time reverse transcription polymerase chain reaction, rRT-PCR)에 대한 전국적 신빙도조사사업 결과를 분석하여 Ct값의 검사실 내 및 검사실 간 변동을 조사하였다.

1. 숙련도조사

국내에서 SARS-CoV-2 rRT-PCR 검사를 수행하는 검사실은 대한진단검사정도관리협회(‘대한임상검사정도관리협회’에서 변경) (Korean Association of External Quality Assessment Service)가 실시하는 신빙도조사사업에 의무적으로 참여해야 한다. 검체 준비, 검증 및 이송, 데이터 보고는 이전 연구에서 기술된 바와 같다[8,10]. 간단하게 기술하면 KRISS SARS-CoV-2 Proficiency Panel (Korea Research Institute of Standards and Science, Daejeon, Korea)을 이용해 검체를 제조하였는데, 신빙도조사사업 물질은 하나의 높은 농도 양성 검체, 동일한 두 개의 중간 농도 양성 검체, 동일한 두 개의 낮은 농도 양성 검체로 총 5개의 양성 검체와 두 개의 음성 검체 등 네 가지 유형의 7개 검체로 구성되었다. 3단계 농도의 양성 검체는 lentivirus 벡터에 삽입된 전체 SARS-CoV-2 유전체를 사용하여 제조하였으며, 음성 기준물질에는 인간 RNase P 유전자를 포함하였다. 이 검체들은 2022년 3월(1차)과 10월(2차)에 참여 검사실로 송부하였고, 4일 이내에 회신을 요청하였다.

2. 자료 분석

Clinical and Laboratory Standards Institute (CLSI)의 권고에 따라 정성 평가의 결과 분석은 예상 결과와 80% 이상 일치하는 반응을 보인 검체에 대해서 분석하였다. 검사실 내 변이는 동일한 검사실에서 PCR 시약을 사용하여 테스트한 중간 농도 양성 샘플과 낮은 농도 양성 샘플에 대한 envelope (E) 유전자의 Ct값의 차이로 계산하였고, 위음성인 경우에는 이 분석에서 제외하였다. 검사실 내 변이의 허용치는 이전 연구와 같이 0.5 log 농도 차이를 반영하는 Ct값 1.66으로 설정하였다. 대한진단검사정도관리협회에서 바이러스 분자검사 1 신빙도조사사업에 참여하고 있는 기관과 바이러스 분자검사 1 신빙도조사사업에 참여하고 있지 않은 기관의 결과를 분석할 때는 카이제곱 검정을 이용하여 비교하였다. 동일한 추출시약 및 PCR 시약을 사용한 경우의 E 유전자의 Ct값은 상자 수염 그림(box-and-whisker plot)을 사용하여 실험실 간 변이를 비교 분석하였다. 동일한 PCR 시약을 사용한 경우 E 유전자의 Ct값은 Student t 검정하여 비교하였다. 기술통계 분석에는 MedCalc ver. 20.015 (MedCalc Software Ltd., Ostend, Belgium)와 Microsoft Excel 2016 (Microsoft Corp., Redmond, WA, USA)을 사용하였다.

2022년 국내 SARS-CoV-2 항목 신빙도조사에는 1차에 278기관 그리고 2차에 301기관이 참가하였다. 국내에서 사용되는 추출시약은 1차에서 65기관(23.4%)이 기타로 답변한 것을 제외할 때 19종의 시약이 사용되고 있었고, Real-Prep Viral DNA/RNA kit (Bioneer, Daejeon, Korea)이 33기관(11.9%), Genolution Viral NA kit (Genolution, Seoul, Korea)이 32기관(11.5%) 순으로 많았다. 2차에서도 기타 80기관(26.6%)을 제외할 때 18종이 사용되었고, Genolution Viral NA kit이 37기관(12.3%), Real-Prep Viral DNA/RNA kit이 27기관(9.0%) 순이었다. PCR 시약의 경우에는 1차에서 총 16종이 사용되었으며, STANDARD M nCoV Real-Time Detection kit (SDBiosensors, Suwon, Korea)를 사용하는 기관이 94개(33.8%)로 가장 많았으며, 다음은 Allplex SARS-CoV-2 Assay (Seegene, Seoul, Korea)으로 56기관(20.1%)이 사용하였다. 2차에서도 STANDARD M nCoV Real-Time Detection kit를 사용하는 기관이 96개(31.9%)로 가장 많았고, 다음은 Allplex SARS-CoV-2 Assay으로 53기관(17.6%)이 사용하었다. 2차에서는 사용되는 PCR 시약의 종류가 총 19종으로 증가하였다.

1차 숙련도조사에서는 5개 기관(1.8%)을 제외한 모든 기관이 모든 검체에 대해 정확한 정성 결과값을 보고하였다. 3기관(1.1%)은 음성 검체를 위양성으로 보고하였고, 1기관(0.4%)은 하나의 중간 농도 양성을 위음성으로 보고하였으며, 다른 1개 기관은 하나의 낮은 농도 양성 검체를 위음성으로 보고하였다. 2차 숙련도조사에서는 2개 기관(0.7%)을 제외한 모든 기관이 정확하게 답변하였다. 1개 기관은 음성 검체를 위양성으로 보고하였고, 나머지 1개 기관은 중간 농도 양성 검체를 위음성으로 보고하였다.

검사실 내 Ct 변화를 비교하였을 때, 1차에서는 7기관(2.5%)에서 낮은 농도 양성 검체들의 Ct값 차이가 >1.66이었으나, 2차에서는 10기관(3.3%)에서 낮은 농도 양성 검체들의 Ct값 차이가 >1.66이었으며, 5기관(1.6%)에서 중간 농도 양성 검체들의 Ct값 차이가 >1.66이었다(Fig. 1). 대한진단검사정도관리협회에서 바이러스 분자검사 1 신빙도조사사업에 참여하고 있는 기관과 바이러스 분자검사 1 신빙도조사사업에 참여하고 있지 않은 기관의 검사실 내 Ct값 차이를 비교하였을 때, 1차와 2차 모두 두 군에서 유의한 차이가 없었다.

Figure 1. Intralaboratory variations of the E gene cycle threshold (Ct) for mid-level positive (A, C) and low-level positive (B, D) samples. A and B show the results of the first challenge, and C and D show the results of the second challenge. The intralaboratory variation was calculated as the difference between the Ct values of the E gene target from the same sample in the same laboratory. The laboratories with false-negatives for each sample were excluded.

많은 수의 검사실에서 사용하는 두 개의 시약인 SDBiosensors STANDARD M nCoV Real-Time Detection Kit와 Seegene Allplex SARS-CoV-2 Assay의 1차와 2차 숙련도조사에서 검사실 간 Ct값 차이는 Fig. 2Fig. 3에 각각 나타내었다. 중간 농도 양성 검체의 E 유전자 Ct값 범위는 STANDARD M 시약을 사용한 경우 1차에서 25–31, 2차에서 25–30 (P=0.701) 인데 비해, Allplex 시약을 사용한 경우는 1차에서 29–33, 2차에서 29–34 (P=0.199)였다. 낮은 농도 양성 검체의 E 유전자 Ct값 범위는 STANDARD M 시약을 사용한 경우 1차에서 27–35, 2차에서 27–35 (P=0.401)이었고, Allplex 시약을 사용한 경우 1차에서 32–37, 2차에서 32–37 (P=0.232)이었다.

Figure 2. Comparison of the E gene cycle threshold (Ct) values by extraction reagent for laboratories using the Standard M nCoV Real-Time Detection Kit (No. 94; A, C) and the Allplex SARS-CoV-2 Assay (No. 56; B, D) in the first challenge. Mid-level positive samples using Standard M reagents (A) and Allplex reagents (B). Low-level positive samples using Standard M reagents (C) and Allplex reagents (D). Extraction kits: 1, Genolution Viral NA kit; 2, AdvanSure R; 3, Seegene STARMag; 4, TANBead optipure prep; 5, Libex Viral DNA and RNA Extraction Kit; 6, Viral Nucleic Acid, Small or Large Volume Kit; 7, Real-Prep Viral DNA/RNA kit; 8, Alphagene Nucleic Acid Extraction Kit; 9, Seegene proprep; 10, QIAamp Viral RNA Mini Kit; 11, QIAsymphony DSP Virus/Pathogen Kit; 12, NucleiSens easyMAG; 13, PANAMAX Viral DNA/RNA Extraction Kit; 14, Chemagic Viral DNA/RNA 300 Kit; 15, RADI 32 Viral DNA/RNA Extraction Kit; 16, Smart Lab Assist extraction kit; and 17, others.

Figure 3. Comparison of the E gene cycle threshold (Ct) values by extraction reagent for laboratories using the Standard M nCoV Real-Time Detection Kit (No. 96) and the Allplex SARS-CoV-2 Assay (No. 53) in the second challenge. Mid-level positive samples using Standard M reagents (A) and Allplex reagents (B). Low-level positive samples using Standard M reagents (C) and Allplex reagents (D). Extraction kits: 1, Genolution Viral NA kit; 2, AdvanSure R; 3, Seegene STARMag; 4, TANBead optipure prep; 5, Libex Viral DNA and RNA Extraction Kit; 6, Viral Nucleic Acid, Small or Large Volume Kit; 7, Real-Prep Viral DNA/RNA kit; 8, Alphagene Nucleic Acid Extraction Kit; 9, Seegene proprep; 10, QIAamp Viral RNA Mini Kit; 11, QIAsymphony DSP Virus/Pathogen Kit; 12, NucleiSens easyMAG; 13, PANAMAX Viral DNA/RNA Extraction Kit; 15, RADI 32 Viral DNA/RNA Extraction Kit; 16, Smart Lab Assist extraction kit; 17, QIAcube reagent; 18, AccuPrep Viral RNA Extraction kit; 19, EZ1 Advanced XL RNA Card; and 20, others.

이 연구를 통해 SARS-CoV-2 진단을 위해 사용하는 PCR 검사의 국내 현황과 정확도를 확인할 수 있었다. 대한진단검사정도관리협회의 신빙도조사사업에 참여하는 검사실들은 소수의 기관을 제외하고는 신뢰할 만한 수준의 SARS-CoV-2 분자진단 결과를 제공하고 있으며, 약 95%의 검사실은 동일한 검체에서 허용 가능한 변이(≤1.66) 내 Ct값을 보고하였다. 변동성이 큰 낮은 농도 양성 검체를 포함하더라도 허용 가능한 검사실 내 변이를 보인 기관은 전체 기관 중 1차 7기관, 2차 14기관으로 5% 이하였다. 2022년 1차와 2차 신빙도조사사업에 참여하는 기관 수가 278기관에서 301기관으로 증가하였으며, 많이 사용하는 추출시약과 PCR 시약의 종류도 바뀌고 있는 것을 확인할 수 있었다[8].

이번 신빙도조사사업에서는 1차에서 5기관, 2차에서 2기관을 제외하고 모든 기관이 정확한 정성 결과값을 보고하였다. 위양성 결과를 보고한 4기관 중 2기관은 하나의 유전자에서만 양성을 보였고, 나머지 2기관은 표적 유전자 모두 양성을 보였다. 표적 유전자 모두 양성을 보인 2기관 중 1기관은 두 유전자 모두 Ct값이 29 정도로 교차오염이나 검체 바뀜 등의 오류가 의심되었다. 나머지 3기관은 교차오염, 비특이적 양성 신호, 사무적 오류 등으로 판단하였다[11,12]. 반면, 위음성 결과를 보고한 기관들의 경우에는 3기관 중 2기관은 표적 유전자 중 하나에서만 음성을 보였으나, 1개 기관은 검사된 표적 유전자 모두 음성이었다. 표적 유전자 중 하나에서만 양성을 보인 경우 임상적인 상황에서는 표적 부위의 변이 등에 의한 PCR drop-out 등을 우선 의심할 수 있겠으나[13,14], 신빙도조사에 이용되는 표준물질에서는 가능성이 떨어진다. 신빙도조사사업에서 표적 유전자 중 하나에서만 음성을 보인 1개 기관에서는 사무상 오류가 의심되었고 나머지 1건에서는 시약의 낮은 민감도 또는 PCR 시약의 불안정성 등이 의심되었다[15]. 모두 음성을 보인 기관은 추출 오류, 시약의 낮은 민감도, 검체 바뀜 등을 의심할 수 있었다. 따라서 두 가지 이상의 표적을 갖는 PCR 검사가 위음성을 배제하는 데 도움이 된다는 것을 다시 확인할 수 있었으며, 위양성이나 위음성을 배제하기 위해서 검체 채취부터 시작해서 추출, PCR 전 과정과 결과보고까지 엄격하게 관리해야 되겠다.

검사실 내 변이는 대부분의 검사실에서 허용 가능한 수준이었다. 국내의 이전 보고와 이번 연구결과를 고려할 때 대부분의 국내 검사실들은 동일 검체에 대해서 신뢰할 만한 수준의 Ct값을 보고하였다. 비록 Ct값의 검사실 내 변이는 허용범위 내에 유지되었지만, 검체 채취과정에서의 변이와 검사자 간 변이 등을 고려할 때[3,16], Ct값을 coronavirus disease 2019 환자의 임상적 경과 추적에 사용하는 것은 주의가 필요하다. 우리나라에서 많이 사용되는 두 PCR 시약의 Ct값은 최대 8까지 검사실 간 차이를 보였다. 또한 추출에 사용되는 검체 양, 추출방법 등에 따라서도 Ct값 차이가 컸다[5,6]. 그러나 이 연구와 이전 연구들에서 보듯이 동일한 추출시약과 PCR 시약을 사용하더라도 검사실 간 Ct값 편차가 크다는 것을 알 수 있어서[7,8], Ct값을 환자의 치료에 대한 반응을 평가하는 데 직접적으로 사용하는 것은 권장되지 않는다[3,4]. 동일한 PCR 시약과 추출시약을 사용하였더라도 다른 기관에서 보고된 Ct값은 임상의에게 주의하여 해석해야 함을 권고해야 한다.

이 연구의 한계점으로, 첫째는 Ct값 20 이하의 높은 바이러스 농도를 갖는 양성 검체를 포함하지 않아서, 교차오염으로 인한 위양성이 적절하게 평가되지 않았다. 둘째로는 4개 회사에서 제조한 시약이 총 기관의 85% 이상에서 사용되기 때문에 다양한 PCR 시약에 대한 검사실 내 혹은 검사실 간 변이를 충분히 검토하지 못했다. 향후 SARS-CoV-2 이외의 공중보건에 큰 영향을 미치는 influenza 등의 호흡기 바이러스에 대해서도 Ct값 결과를 받는 반정량적인 신빙도조사사업을 도입하여 검사실 내 검사실 간 변이를 평가하는 것이 필요하다.

결론적으로, SARS-CoV-2 rRT-PCR 검사의 전반적인 성능과 검사실 내 변이는 대부분의 참여 검사실에서 허용 가능한 수준이었다. 숙련도조사를 통해 검사실의 검사 정확도만을 평가하는 것이 아니라 시약과 추출방법을 포함한 SARS-CoV-2 rRT-PCR 검사의 전반적인 과정을 확인할 수 있었다. 그러나 Ct값의 검사실 간 변이가 현저하기 때문에 다른 기관의 결과를 해석할 때 주의가 필요하겠다.

이 연구는 질병관리청의 2022년도 감염병병원체 확인기관 실험실 검사능력 평가사업으로 수행되었다.

  1. Rao SN, Manissero D, Steele VR, Pareja J. A systematic review of the clinical utility of cycle threshold values in the context of COVID-19. Infect Dis Ther 2020;9:573-86.
    Pubmed KoreaMed CrossRef
  2. Singanayagam A, Patel M, Charlett A, Lopez Bernal J, Saliba V, Ellis J, et al. Duration of infectiousness and correlation with RT-PCR cycle threshold values in cases of COVID-19, England, January to May 2020. Euro Surveill 2020;25:2001483.
    Pubmed KoreaMed CrossRef
  3. American Association for Clinical Chemistry. AACC recommendation for reporting SARS-CoV-2 cycle threshold (CT) values. https://www.aacc.org/science-and-research/covid-19-resources/statements-on-covid-19-testing/aacc-recommendation-for-reporting-sars-cov-2-cycle-threshold-ct-values (Accessed August 16, 2023).
  4. Infectious Disease Society of America and Association for Molecular Pathology. IDSA and AMP joint statement on the use of SARS-CoV-2 PCR cycle threshold (Ct) values for clinical decision-making. https://www.idsociety.org/globalassets/idsa/public-health/covid-19/idsa-amp-statement.pdf (Accessed August 16, 2023).
  5. Buchta C, Camp JV, Jovanovic J, Chiba P, Puchhammer-Stockl E, Mayerhofer M, et al. The versatility of external quality assessment for the surveillance of laboratory and in vitro diagnostic performance: SARS-CoV-2 viral genome detection in Austria. Clin Chem Lab Med 2021;59:1735-44.
    Pubmed CrossRef
  6. Buchta C, Gorzer I, Chiba P, Camp JV, Holzmann H, Puchhammer-Stockl E, et al. Variability of cycle threshold values in an external quality assessment scheme for detection of the SARS-CoV-2 virus genome by RT-PCR. Clin Chem Lab Med 2020;59:987-94.
    Pubmed CrossRef
  7. Rhoads D, Peaper DR, She RC, Nolte FS, Wojewoda CM, Anderson NW, et al. College of American Pathologists (CAP) Microbiology Committee Perspective: caution must be used in interpreting the cycle threshold (Ct) value. Clin Infect Dis 2021;72:e685-6.
    Pubmed CrossRef
  8. Park K, Sung H, Chun S, Min WK. Evaluation of intra- and interlaboratory variations in SARS-CoV-2 real-time RT-PCR through nationwide proficiency testing. Lab Med 2022;53:636-9.
    Pubmed KoreaMed CrossRef
  9. Lim S and Sohn M. How to cope with emerging viral diseases: lessons from South Korea's strategy for COVID-19, and collateral damage to cardiometabolic health. Lancet Reg Health West Pac 2023;30:100581.
    Pubmed KoreaMed CrossRef
  10. Sung H, Han MG, Yoo CK, Lee SW, Chung YS, Park JS, et al. Nationwide external quality assessment of SARS-CoV-2 molecular testing, South Korea. Emerg Infect Dis 2020;26:2353-60.
    Pubmed KoreaMed CrossRef
  11. Park K, Sung H, Kim MN. Patterns of possible false-positive results for three commercial real-time PCR kits for SARS-CoV-2. Clin Lab 2022;68.
    CrossRef
  12. Hong KH, Kim GJ, Roh KH, Sung H, Lee J, Kim SY, et al. Update of guidelines for laboratory diagnosis of COVID-19 in Korea. Ann Lab Med 2022;42:391-7.
    Pubmed KoreaMed CrossRef
  13. Wollschlager P, Todt D, Gerlitz N, Pfaender S, Bollinger T, Sing A, et al. SARS-CoV-2 N gene dropout and N gene Ct value shift as indicator for the presence of B.1.1.7 lineage in a commercial multiplex PCR assay. Clin Microbiol Infect 2021;27:1353.
    CrossRef
  14. Hasan MR, Sundararaju S, Manickam C, Mirza F, Al-Hail H, Lorenz S, et al. A novel point mutation in the N gene of SARS-CoV-2 may affect the detection of the virus by reverse transcription-quantitative PCR. J Clin Microbiol 2021;59:e03278-20.
    Pubmed KoreaMed CrossRef
  15. Park K, Sung H, Kim MN. Deciphering a case of SARS-CoV-2 E gene dropout with the Xpert Xpress assay. Ann Lab Med 2023;43:392-4.
    Pubmed KoreaMed CrossRef
  16. Centers for Disease Control and Prevention. Interim guidelines for collecting and handling of clinical specimens for COVID-19 testing. https://www.cdc.gov/coronavirus/2019-ncov/lab/guidelines-clinical-specimens.html (Accessed August 16, 2023).

Supplementary File


Share this article on :

Stats or metrics