• Sitemap
  • Contact us

pISSN 2384-2458 eISSN 2288-7261
Article View

Original Article

J Lab Med Qual Assur 2020; 42(1): 48-53

Published online March 31, 2020

https://doi.org/10.15263/jlmqa.2020.42.1.48

Copyright © Korean Association of External Quality Assessment Service.

Three-Year Experience of an External Proficiency Testing Survey for Next-Generation Sequencing-Based Testing for Germline Mutation

Moon-Woo Seong1,2, Manjin Kim1, Ho-Seob Shin2, Sung Im Cho1, and Sung Sup Park1

1Department of Laboratory Medicine, Seoul National University Hospital, Seoul National University College of Medicine; 2Biomedical Research Institute, Seoul National University Hospital, Seoul, Korea

Correspondence to:Moon-Woo Seong
Department of Laboratory Medicine, Seoul National University Hospital, 101 Daehak-ro, Jongno-gu, Seoul 03080, Korea
Tel +82-2-2072-4180 Fax +82-2-747-0359 E-mail mwseong@snu.ac.kr

Received: December 18, 2019; Revised: January 8, 2020; Accepted: January 22, 2020

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Background: Next-generation sequencing is a powerful technology that allows simultaneous analysis of several genes but also demands a well-designed quality management system owing to its complexity. We aimed to analyze the results of next-generation sequencing (NGS)-germline proficiency testing (PT) survey performed by the Korean Association of External Quality Assessment Service during 2017–2019 to assess the current status of the NGS-based genetic testing in Korea.
Methods: The recent 3-year results from the PT survey were investigated. During this period, PT survey was performed twice every year with two or three challenges per round. Correct results (%) were calculated from all tested regions; the trend by year and variation type was analyzed and the probable causes estimated.
Results: During this period, the number of participating laboratories increased from 5 to 22. The correct results were 97.2% in average and showed a gradual increase with year. The most common ‘unacceptable’ results were false-negative or false-positive, followed by inappropriate nomenclature and zygosity assignment.
Conclusions: The PT survey shows that the overall performance of NGS laboratories in Korea is highly confident, although some improvements may be needed. A method-based PT survey for the NGS test serves as a useful approach to assess the performance of NGS laboratories.

Keywords: Next-generation sequencing, Proficiency test, Method-based proficiency test

차세대염기서열분석법(next-generation sequencing, NGS)이 분자진단에 도입되면서 단일유전자에 대한 분석을 기반으로 하는 전통적 분자진단에서 수십 내지 수백 개 유전자의 정보를 동시에 분석하고 이를 바탕으로 하는 분자진단으로 이동하고 있다. 국내에서도 최근 NGS 기반 유전자패널검사가 제한적 선별급여로 실시됨에 따라 여러 임상검사실에서 다양한 종류의 유전자패널을 설치 및 운영하고 있다. NGS 기술은 대용량의 유전자 정보를 상대적으로 저비용에 제공할 수 있는 장점에도 불구하고 분자진단에 본격적으로 적용되기 위해서 해결해야 할 문제가 많이 있다. 우선 NGS 검사는 검사절차가 다단계로 복잡할 뿐 아니라 NGS 장비에 따라 특정 종류의 오류에 취약할 수 있고, 생물정보학적 분석과정에 따라 검출할 수 있는 유전자 이상의 유형 및 범위가 제한될 수도 있다. 따라서 검사결과의 정확도를 보증하기 위해 검사단계별 또는 전체 검사과정의 철저한 검증이 필요할 뿐 아니라 검사 전 과정을 통해 엄밀한 질 관리가 필요하다[1-3].

일반적으로 신빙도조사는 분석물질에 특이적으로 고안되지만, NGS 유전자패널은 대상으로 하는 질환의 종류 및 유전자 조합이 기관마다 다양하므로 분석물질을 고려하는 것이 현실적으로 불가능하다. 따라서 이러한 경우는 분석물질에 특이적인 신빙도조사프로그램이 아니라 검사법 수행능을 평가하는 검사법 기반의 신빙도조사프로그램이 현실적인 대안이 될 수 있다[4,5].

저자들은 검사법 기반의 신빙도조사프로그램의 일환으로 구현되어 지난 3년간 대한임상검사정도관리협회 주관으로 시행된 NGS-germline 신빙도조사사업 자료를 분석하여 국내 NGS 유전자패널 검사법의 정확도 현황을 파악하고자 하였다.

1. Next-generation sequencing-germline 신빙도조사 자료

2017년부터 2019년까지 대한임상검사정도관리협회에서 시행한 NGS-germline 신빙도조사 자료를 사용하였다. 이 기간 NGS-germline 신빙도조사는 연간 2회 시행되었고, 시행 첫 해인 2017년은 회차당 1개 검체(1차는 전자데이터, 2차는 핵산), 그 이후부터는 회차당 각각 2개 검체(전자데이터 및 핵산), 마지막으로 가장 최근인 2019년 2차는 총 3개의 검체(2종의 전자데이터 및 1종의 핵산)를 사용하였다.

2. 신빙도조사 물질 준비 및 특성 규명

신빙도조사 물질은 세포주에서 추출한 핵산 및 여기서 유래한 전자데이터를 사용하여 제작하였다. 각 물질은 다음과 같은 과정으로 제작하였다. 전장유전체염기서열분석은 핵산을 추출한 후 insert size가 평균 550 bp가 되도록 분절하고 TruSeq DNA Sample Kit (Illumina Inc., San Diego, CA, USA)를 이용하여 라이브러리를 제작한 후 HiSeq 2500 (Illumina Inc.)에서 2×150 bp paired end 모드로 염기서열분석을 시행하였다. 전장엑솜염기서열분석은 핵산을 추출한 후 insert size가 평균 250 bp가 되도록 분절하고 Agilent SureSelect Target Enrichment System kit (Agilent Technologies, Santa Clara, CA, USA)로 라이브러리를 제작한 후 HiSeq 2500에서 2×125 bp paired end 모드로 염기서열분석을 시행하였다. 염기서열분석 원시 데이터는 BWA ver. 0.7.12 (http://bio-bwa.sourceforge.net/index.shtml)로 hg19 표준염기서열에 정렬하여 bam 파일을 제작하였고, GATK HaplotypeCaller로 염기변이를 검색하였다[6]. 신빙도조사용 전자데이터는 전장엑솜염기서열분석 데이터로부터 검사대상을 선정한 후 필요한 유전자 부위를 추출하여 제작하였다. 선정된 특정 검사대상 부위에 대해 전장유전체염기서열분석 데이터를 이용하여 염기변이 유무 및 유형을 검증하였다. 필요한 경우 염기변이 특이적 시발체를 이용하여 Sanger 염기서열분석법으로 특정 염기변이를 검증하였다. 전장유전체염기서열분석은 평균 30×, 전장엑솜염기서열분석은 평균 200×의 깊이(read depth)가 되도록 하였다.

3. 신빙도조사 평가항목 및 기준

검체당 35–50개 내외의 검사대상 유전체 부위를 제시하였다. 전자데이터 검체는 제시된 전체 검사대상에 대해 염기변이의 유무 및 유형, 변이의 깊이, 변이 대립유전자 빈도, 동형/이형접합 여부, 염기변이의 명명, 임상적 의미를 보고하도록 하였다. 핵산 검체는 제시된 검사대상 중 해당 기관에서 검사를 시행하는 유전체 부위에 대해서만 동일한 항목을 보고하도록 하였다.

평가는 염기변이 유무, 염기변이 유형, 동형/이형접합 여부, 염기변이 명명의 4가지 항목에 대해 시행하였다. 검사대상 유전체 부위마다 상기 항목에 대해 모두 허용기준을 만족하는 경우 ‘acceptable’로 평가하였고, 한 가지 항목이라도 허용기준을 만족하지 못하는 경우 ‘unacceptable’로 평가하였다. 허용기준은 10개 이상의 기관이 참여한 항목은 80% 이상의 일치를 기준으로 하였고, 80% 미만인 것은 평가에서 제외하였다. 참여기관이 10개 미만인 항목은 예상결과를 허용기준으로 하였다.

4. 자료분석 및 통계

2017년부터 2019년까지 연도별 신빙도조사프로그램에 참여한 기관 수와 검체의 검사대상 수를 조사하였다. 검체당 ‘correct results (%)’은 해당 검체마다 참여기관이 회신한 모든 검사대상 수의 합을 분모로 하고, 이 중에서 ‘acceptable’ 결과를 보인 검사대상 수의 합을 분자로 하여 비율을 계산함으로써 구하였다. 계산된 ‘correct results (%)’의 연도 및 검사대상 염기변이 유형에 따른 추이를 분석하였다. ‘Unacceptable’ 결과는 유형을 분석하고 가능한 원인을 추정하였다.

NGS-germline 신빙도조사의 참여기관 수는 시범사업으로 시행한 2017년도 1회차는 5개 기관, 2회차는 6개 기관이었다(Table 1). 2018년부터 동일 회차에 2종 이상의 검체를 발송하였고, 회차당 최대 참여기관 수는 2018년 1차 18개에서 2019년 2차 22개로 증가하였다. 3년간 신빙도조사에 참여한 총 23개 기관 중에서 22개 기관이 사용 중인 NGS 장비 및 시약 정보를 제공하였고, 이 중 일루미나 플랫폼(Illumina Inc.)을 사용하는 기관이 16개, 써모피셔 플랫폼(Thermo Fisher Scientific, Waltham, MA, USA)을 사용하는 기관이 6개였다(Table 2). 검사대상 유전체 부위는 검체당 평균 48.6개였고, 이 중에서 ‘no variant’는 30.6%였고 single nucleotide variant (SNV)는 63%, insertion/deletion variant (indel)은 6.4%였다.

Table 1 . Number of participants and NGS challenges during 2017–2019.

RoundSampleParticipantsTargetType of variant

No variantSingle nucleotide variantIndel
2017-1NGS(G)-17-0153511231
2017-2NGS(G)-17-0264916294
2018-1NGS(G)-18-01185013334
NGS(G)-18-02155015332
2018-2NGS(G)-18-03174913342
NGS(G)-18-04175216342
2019-1NGS(G)-19-01195015314
NGS(G)-19-02225016322
2019-2NGS(G)-19-03195013352
NGS(G)-19-04225020300
NGS(G)-19-051350162311
Mean15.748.614.9 (30.7)30.6 (63.0)3.1 (6.4)

Values are presented as number or number (%)..

Abbreviation: NGS, next-generation sequencing..


Table 2 . Sequencing platforms of 22 participants.

IlluminaNo. of labora­toriesThermo Fisher ScientificNo. of labora­tories
EquipmentMiSeq (Illumina)14Ion S5 XL (Thermo)6
NextSeq (Illumina)2
EnrichmentSureSelect Target Enrichment (Agilent)4Ion Ampliseq (Thermo)6
TruSeq Custom Amplicon (Illumina)1
TruSight One Sequencing (Illumina)2
Others9
Total166

The instruments were from the following companies: Illumina Inc. (San Diego, CA, USA) and Thermo Fisher Scientific (Waltham, MA, USA).



3년간 신빙도조사의 ‘correct results (%)’는 평균 97.2%였고, 연도별로는 개선되는 경향을 보였다(Table 3). 염기변이 유형별로 ‘no variant’가 99.6%로 가장 우수한 성적을 보였고, 다음으로 SNV (96.4%), indel (91.0%) 순이었다. Indel 염기변이는 가장 낮은 성적을 보였을 뿐 아니라 회차별 성적의 변동폭도 높았다. 참여기관별로 ‘acceptable’ 결과의 백분율은 회차별로 차이는 있지만 일부 기관에서는 현저히 개선되는 결과를 보였다(Fig. 1).

Table 3 . Overall survey results over 3 years.

RoundSampleCorrect results (%)

TotalNo variantSingle nucleo­tide variantIndel
2017-1NGS(G)-17-0197.9100.098.950.0
2017-2NGS(G)-17-0296.9100.094.5100.0
2018-1NGS(G)-18-0195.098.693.3NA*
NGS(G)-18-0293.5100.089.9100.0
2018-2NGS(G)-18-0397.4100.096.384.6
NGS(G)-18-0498.097.698.2100.0
2019-1NGS(G)-19-0198.8100.098.396.2
NGS(G)-19-0297.299.096.2100.0
2019-2NGS(G)-19-0399.6100.099.3100.0
NGS(G)-19-04100.0100.0100.0NA
NGS(G)-19-0595.2100.095.288.1
Mean97.299.696.491.0

Abbreviations: NGS, next-generation sequencing; NA, not avail­able..

*Four indel variants were included in the sample, but all these variants were excluded from the evaluation because agreement was achieved among less than 80% of participants. No indel variant was included in the sample..


Figure 1. Performance by laboratories in the next-generation sequencing-germline proficiency testing survey. The laboratory A and B showed much improved performance in the next round of the survey compared to the first survey. The laboratory C participated in only two target regions in the 2019-1 survey and failed both of them due to the transcription error.

‘Unacceptable’ 평가결과를 4가지 평가항목-염기변이 유무, 염기변이 유형, 동형/이형접합 여부 및 염기변이 기술-에 따라 분석한 결과, 3년 동안 총 108건의 ‘unacceptable’ 결과가 있었고, 이 중에서 평가항목별로는 염기변이 유무(64건; 위음성 56건, 위양성 8건)가 가장 많았고, 다음으로 염기변이 기술(32건), 동형/이형접합 여부(11건), 염기변이 유형(1건) 순이었다(Table 4).

Table 4 . Unacceptable results from the four evaluation compo­nents.

SampleFalse neg/posVariant typeZygo­sityNomen­cla­tureTotal
NGS(G)-17-010/0123
NGS(G)-17-022/013
NGS(G)-18-0124/3734
NGS(G)-18-027/2110
NGS(G)-18-034/013715
NGS(G)-18-040/2114
NGS(G)-19-013/058
NGS(G)-19-023/1239
NGS(G)-19-031/023
NGS(G)-19-040/0
NGS(G)-19-0512/02519
Total56/811132108

Abbreviation: NGS, next-generation sequencing..



염기변이 유무에서 ‘unacceptable’ 평가결과를 염기변이 유형으로 나누어 보면, 위음성의 경우 SNV에서 50건, indel에서 6건이었고, 위양성 8건은 모두 ‘no variant’였다. 검사대상 중 2건 이상의 반복적인 위음성을 보인 참여기관은 총 4개 기관이었고, 이들 기관에서 발생한 위음성이 전체 위음성의 92.6%였다.

염기변이 기술에서 ‘unacceptable’ 평가결과를 보인 경우는 SNV에서 25건, indel에서 7건이었다. 이를 원인에 따라 분류하면, 제시된 RNA reference transcript 외 다른 transcript를 사용한 경우와 변이의 위치(numbering)를 잘못 기술한 경우가 각각 8건으로 가장 많았다(Table 5). 다음으로는 표준염기서열이나 변이염기서열을 잘못 기술한 경우, 변이를 coding DNA reference sequence 대신 non-coding DNA reference sequence를 사용하여 기술한 경우, 사무적 오류, 표준아미노산서열을 잘못 기술한 경우 등이 있었다.

3년간 신빙도조사에 포함된 총 검사대상 수는 535개였는데, 이 중에서 참여기관 간 80% 미만의 일치를 보여 평가에서 제외된 경우는 16개였고, 2017년에 0개, 2018년에 12개, 2019년에 4개였다. 염기변이 유형별로는 SNV 및 indel이 각각 8개에 해당하였다. 전체 337개 SNV 중에서 평가에서 제외된 SNV의 비율은 2.4%였고, 전체 34개의 indel 중에서 평가에서 제외된 indel의 비율은 23.5%로, SNV 염기변이에 비해 indel 염기변이에서 평가 제외되는 경우가 상대적으로 흔히 발생하였다.

Table 5 . Common causes of incorrect response in nomenclature.

CauseNo.
Use of different RNA transcript8
Wrong nucleotide numbering including 3’ rule8
Wrong reference/alternative nucleotide sequence6
Use of non-coding DNA reference sequence (like “n.”)4
Apparent transcription error3
Wrong reference amino acid sequence2
Unknown1


전체 검사대상 중에서 ‘acceptable’ 평가결과를 보인 이형접합 변이에 대해 참여기관이 보고한 변이 대립유전자 빈도의 분포는 Fig. 2와 같았다. 95% 이상의 참여기관이 40%–60%의 변이 대립유전자 빈도를 보고하였고, 변이 대립유전자 빈도를 30% 미만 또는 75% 이상으로 보고한 기관은 전체의 0.6%에 불과하였다.

Figure 2. Distribution of variant allele frequency considering heterozygous variants only.

신빙도조사프로그램에 참가하는 것이 검사실의 검사수행능을 실제로 개선하는지에 관한 연구는 거의 드물지만, 일부 연구는 신빙도조사프로그램이 검사프로토콜의 오류를 찾아내거나 또는 검사법과 관련된 문제를 인지하는 교육적 효과가 있음을 보여주고 있다[7,8]. 아울러 통상적인 검사대상 특이적 신빙도조사프로그램뿐 아니라 검사법 기반 신빙도조사프로그램도 해당 검사법을 시행하는 검사기관의 검사수행능을 평가하고 이를 개선할 기회를 제공할 수 있음을 보여준 바 있다[5]. 검사법이 복잡하고 검사대상이 다수인 NGS 검사도 검사대상별로 신빙도조사프로그램을 설계하는 것은 현실적이지 않고 따라서 검사법 기반의 신빙도조사가 좋은 대안이다.

대한임상검사정도관리협회에서 시행하는 NGS-germline 신빙도조사프로그램은 NGS 검사를 위한 검사법 기반의 신빙도조사프로그램으로 지난 3년간 평균 15개 이상의 국내 NGS 검사기관이 회차당 평균 48개 검사대상에 대해 참여하였고, 평가 가능한 검사대상 중 97.2%의 ‘acceptable’ 결과를 보였다. 이는 국내 NGS 검사기관이 우수한 NGS 검사서비스를 제공하고 있음을 보여주는 정량적 지표라고 할 수 있다.

전반적인 검사수행능이 우수함에도 불구하고, 국내 NGS 검사에서 몇 가지 개선되어야 할 사항이 있었다. 첫째, ‘unacceptable’ 결과의 상당수는 위음성 또는 위양성이었고 이들 오류는 일부 검사기관에서 집중적으로 발생하는 경향을 보였다. 따라서 해당 기관에서는 분석파이프라인에서 염기변이 발굴기준에 대한 점검이 필요할 것으로 판단되었다. 둘째, Human Genome Variation Society에서 제시하는 염기변이의 명명법 권고안을 따르지 않는 경우가 있었다. 특히 2가지 이상의 방법으로 기술이 가능할 때 가장 3’ 위치로 기술하고 있는지, 또 제시된 RNA reference sequence에 따라 표준염기서열 및 변이염기서열을 기술하고 있는지 등을 확인해야 할 것으로 보인다. 세째, indel 염기변이는 SNV 염기변이에 비해 염기변이 발굴, 염기변이 기술 등에서 오류가 발생할 가능성이 높기 때문에 이에 대한 별도의 점검 및 주의가 필요할 것으로 보인다.

본 연구의 제한점은 다음과 같다. 첫째, 지난 3년간의 짧은 기간에 수행된, 그것도 검사법 기반의 신빙도조사결과를 이용한 것이어서 국내 NGS 검사기관의 전체 검사수행능에 대한 평가로 일반화하기는 어렵다는 점이다. 둘째, ‘unacceptable’ 결과의 원인을 분석하기 위해 노력하였으나, 여기서 제시한 원인은 확정된 것이라기보다 추정에 가깝다는 한계가 있다.

결론적으로 대한임상검사정도관리협회에서 주관한 NGS-germline 신빙도조사프로그램에 참여한 국내 NGS 검사기관의 검사수행능은 일부 개선의 여지가 있지만 전반적으로 우수하였으며, 검사법 기반의 신빙도조사프로그램이 이러한 NGS 검사기관의 검사수행능을 평가하는 데 유용한 것으로 판단되었다.

이 논문은 대한임상검사정도관리협회의 2016년 학술연구비 지원에 의해 이루어졌다.

  1. Matthijs G, Souche E, Alders M, Corveleyn A, Eck S, Feenstra I, et al. Guidelines for diagnostic next-generation sequencing. Eur J Hum Genet 2016;24:2-5.
    Pubmed KoreaMed CrossRef
  2. Aziz N, Zhao Q, Bry L, Driscoll DK, Funke B, Gibson JS, et al. College of American Pathologists' laboratory standards for next-generation sequencing clinical tests. Arch Pathol Lab Med 2015;139:481-93.
    Pubmed CrossRef
  3. Rehm HL, Bale SJ, Bayrak-Toydemir P, Berg JS, Brown KK, Deignan JL, et al. ACMG clinical laboratory standards for next-generation sequencing. Genet Med 2013;15:733-47.
    Pubmed KoreaMed CrossRef
  4. Schrijver I, Aziz N, Jennings LJ, Richards CS, Voelkerding KV, Weck KE. Methods-based proficiency testing in molecular genetic pathology. J Mol Diagn 2014;16:283-7.
    Pubmed CrossRef
  5. Richards CS, Palomaki GE, Lacbawan FL, Lyon E, Feldman GL; CAP/ACMG Biochemical and Molecular Genetics Resource Committee Committee. Three-year experience of a CAP/ACMG methods-based external proficiency testing program for laboratories offering DNA sequencing for rare inherited disorders. Genet Med 2014;16:25-32.
    Pubmed CrossRef
  6. McKenna A, Hanna M, Banks E, Sivachenko A, Cibulskis K, Kernytsky A, et al. The Genome Analysis Toolkit: a MapReduce framework for analyzing next-generation DNA sequencing data. Genome Res 2010;20:1297-303.
    Pubmed KoreaMed CrossRef
  7. Kalman LV, Lubin IM, Barker S, du Sart D D, Elles R, Grody WW, et al. Current landscape and new paradigms of proficiency testing and external quality assessment for molecular genetics. Arch Pathol Lab Med 2013;137:983-8.
    Pubmed KoreaMed CrossRef
  8. Hoeltge GA, Phillips MG, Styer PE, Mockridge P. Detection and correction of systematic laboratory problems by analysis of clustered proficiency testing failures. Arch Pathol Lab Med 2005;129:186-9.
    Pubmed CrossRef

Supplementary File


Share this article on :

Stats or metrics