• Sitemap
  • Contact us

pISSN 2950-9114 eISSN 2950-9122
Article View

Report On Proficiency Testing

J Lab Med Qual Assur 2018; 40(2): 85-91

Published online June 30, 2018

https://doi.org/10.15263/jlmqa.2018.40.2.85

Copyright © Korean Association of External Quality Assessment Service.

Annual Report on the External Quality Assessment Scheme for Special Protein in Korea (2017)

Hyung-Doo Park

Department of Laboratory Medicine and Genetics, Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, Korea

Correspondence to:Hyung-Doo Park Department of Laboratory Medicine and Genetics, Samsung Medical Center, Sungkyunkwan University School of Medicine, 81 Irwon-ro, Gangnam-gu, Seoul 06351, Korea Tel: +82-2-3410-0290 Fax: +82-2-3410-2719 E-mail: nayadoo@hanmail.net
교신저자: 박형두 우)06351 서울시 강남구 일원로 81, 성균관대학교 삼성서울병원 진단검사의학과 Tel: 02)3410-0290, Fax: 02)3410-2719, E-mail: nayadoo@hanmail.net

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

In 2017, the Korean Association of External Quality Assessment Service developed a special protein proficiency testing program that consisted of nine quantitative test items. This program was conducted twice a year using three-level control materials. Data and results of each test item were analyzed by respective institutions according to the test instruments. The report was prepared by dividing it into a common report that showed the characteristics of all the participating institutions and an organization-specific report that showed the assessment data of individual institutions. The following statistical data were presented: the number of participating institutions per group, mean, standard deviation, coefficient of variation, median, minimum value, and maximum value. The individual report was composed of a table, histogram, and Levey-Jennings chart showing the statistics for each test item. The results of the assessment of each institution and the statistical data for each classification are presented in a table, and a standard deviation index for both the company classification and classification by instruments was provided. Overall, no significant difference was observed between the number of participating institutions and the distribution of test equipment. The coefficient of variation tended to be relatively high for each test item because the concentration of quality control materials was low and the number of participating institutions was small. I believe that these statistical analysis data are useful for analyzing external quality control results of the institutions and selecting an immunoassay test instrument for special protein.

Keywords: Korean Association of External Quality Assessment Service, Laboratory proficiency testing, Special protein

대한임상검사정도관리협회에서는 2016년부터 새로운 방식의 차세대 신빙도조사사업을 시행하였는데, 가장 큰 변화는 기존의 분과 중심 운영체계에서 6개 대분류, 46개 프로그램 단위별 운영체계로 전환하여 검사항목을 세분화한 점이다. 임상화학 분야는 일반화학검사프로그램을 비롯하여 단백면역검사, 호르몬검사 등 21개의 프로그램으로 구성되었는데, 이 중에는 기존 체계하에 임상화학분과위원회에서 담당해 왔던 일반화학검사 분야, 당화혈색소, 지질 및 크레아티닌에 대한 정확도 기반 신빙도조사사업 등이 포함되어 있다[1-4]. 단백면역검사프로그램에서 시행되는 검사항목은 ceruloplasmin을 포함한 9가지로 선정되었다. 이에 2017년 차세대 신빙도조사사업으로 실시되었던 단백변역검사에 대한 신빙도조사사업 결과를 분석하여 보고하고자 한다.

1. 대상

단백면역검사프로그램은 연 2회에 걸쳐 회차별로 3개의 정도관리물질을 사용하여 수행되었다. 정도관리물질은 냉장상태가 유지될 수 있도록 아이스팩이 내장된 특수 제작박스에 넣어 참여등록기관을 대상으로 5월 15일(1차)과 10월 16일(2차)에 각각 발송되었다(Table 1).

Table 1 . Baseline data used in proficiency tests for special protein in 2017.

   VariableTrial

1st2nd
Delivery date2017. 5. 152017. 10. 16
Response date2017. 5. 15–5. 262017. 10. 16–10. 27
Test
 Alpha1-antitrypsin77
 Anti-streptolysin O (quantitative)165168
 Anti-streptolysin O (qualitative)7681
 Anti-streptolysin O (semi-quantitative)34
 Ceruloplasmin1414
 C-reactive protein (quantitative)406464
 C-reactive protein (qualitative)4864
 Ferritin281295
 Haptoglobin3535
 Prealbumin2624
 Rheumatoid factor (quantitative)334363
 Rheumatoid factor (qualitative)100134
 Transferrin3130

2. 정도관리물질과 검사항목

정도관리물질은 Bio-Rad사의 Lyphochek Immunossay Control (Bio-Rad Laboratories, Hercules, CA, USA) 등 사람 혈청을 기질로 한 액상 제품을 사용하였다. 검사항목은 ceruloplasmin, ferritin, transferrin, haptoglobin, prealbumin, alpha1-antitrypsin, C-reactive protein, anti-streptolysin O, rheumatoid factor 등 9개였으며, 이 중 C-reactive protein과 rheumatoid factor 등은 정량 및 정성 검사에 대해 anti-streptolysin O는 정량, 반정량, 정성 검사에 대해 시행하였다. 정도관리물질을 수령한 참여기관에서는 검사 시행 후 지정된 회신 마감일 이내에 대한임상검사정도관리협회 신빙도조사사업 홈페이지(http://eqas.keqas.org)에 결과를 입력하도록 하였다.

3. 결과 판정 및 분석

각 기관에서 입력한 검사항목별 검사기기, 시약, 검사결과에 따라 통계분석을 시행하였고, 이를 전체 참여기관의 특성을 보여주는 공통보고서와 개별기관의 평가자료를 보여주는 기관별 보고서로 나누어 보고하였다. 공통보고서는 전체 참여기관, 동일 장비회사 사용기관, 동일 장비 사용기관 등 3단계로 그룹화하여 통계 값을 제시하였다(Fig. 1). 전체 참여기관에 해당하는 통계, 기기회사를 기준분류로 한 그룹의 통계, 특정 검사기기로 구분한 그룹의 통계를 각각 제시하였다. 제시된 통계에는 각 그룹별 참여기관 수, 평균, 표준편차, 변동계수, 중앙값, 최소값, 최대값 등이 포함되어 있다. 참여기관 수, 중앙값, 최소값과 최대값 등은 이상치를 제거하지 않은 모든 참여기관의 수치를 제시하였으며, 평균, 표준편차, 변동계수 등은 각 그룹에서 이상치를 제거한 후 산출된 수치로 계산하였다. 한편, 동일 그룹에 속한 기관 수가 10개 미만인 경우에는 평균, 표준편차, 변동계수 등을 제시하지 않았고, 기관 수가 3개 미만인 경우에는 중앙값도 제시하지 않았다. 이상치는 Tukey rule을 이용하여 제거하였는데, 각 해당 분류에서 75 percentile 값(Q3)과 25 percentile 값(Q1)의 차(Q3-Q1; interquartile range, IQR)의 1.5배를 초과하여 Q1보다 낮거나 Q3보다 높은 결과값(<Q1-1.5×IQR 또는 >Q3+1.5×IQR)으로 설정하였다.

Figure 1.

Summary report of the general statistics report for the special protein proficiency testing program of the 2017 Korean External Quality Assessment Service.


개별기관보고서는 각 검사항목별로 통계치를 보여주는 표, 히스토그램, 레비-제닝스 차트로 구성하여 일목요연하게 볼 수 있도록 하였다(Fig. 2). 통계치를 제시한 표에는 각 기관의 결과값과 각 분류별 통계치를 제시하고 기준분류와 세분류에서는 표준편차지수(standard deviation index, SDI)를 함께 제시하였다. 전체 참여기관 자료와 각 그룹별 참여기관의 수가 10개 미만일 경우에는 SDI를 제시하지 않았다. 레비-제닝스 차트는 기준분류별 SDI를 이용하여 작성하였는데, 참여기관 수가 10개 미만인 경우에는 SDI가 제시되지 않아서 레비-제닝스 차트에서도 표시되지 않았다. 히스토그램에서는 전체 참여기관의 분포와 기준분류별 분포를 제시하였고 각 기관의 위치를 표시하였다. 히스토그램의 첫 번째와 마지막 막대는 각각 전체 참여기관의 결과 분포에서 2.5퍼센타일 미만과 97.5퍼센타일 이상에 해당한다.

Figure 2.

An example of an individual institutional report for the special protein proficiency testing program of the 2017 Korean External Quality Assessment Service.


단백면역검사프로그램에서 100개 이상의 기관이 참여하는 검사항목은 ferritin, C-reactive protein, anti-streptolysin O, rheumatoid factor 등 4가지였으며, 나머지 5항목은 7-35기관의 참여 분포를 보였다. 특히 alpha1-antitrypsin과 anti-streptolysin O(반정량) 검사는 전체 참여기관이 각각 7곳과 4곳으로 10기관에 미치지 못하여 통계분석을 수행하지 못하였다. 대부분의 항목에서는 전년도와 비슷한 수준의 참여기관 수를 보였지만, C-reactive protein(정량) 검사는 2016년 1차 신빙도조사에서 359기관, 2017년 1차에서 406기관, 2017년 2차에서 464기관이 참여하여 참여기관 증가 폭이 큰 편이었다. 정성검사는 C-reactive protein, anti-streptolysin O, rheumatoid factor 등 3개 항목에 대해 수행하였고, 모든 정성검사항목에서 1차조사보다 2차 조사에서 참여기관의 수가 증가하였다.

정량검사항목들에 대해 두 차례의 신빙도조사에서 전체 참여기관의 통계값을 Table 2에 정리하였다. 단백면역검사는 대부분 전용시약과 기기를 사용하는데, 2차 신빙도조사에서 참여기관이 464곳으로 가장 많았던 C-reactive protein(정량) 검사의 경우, 18개 회사에서 63종류의 검사장비가 사용되고 있었다. C-reactive protein(정량) 검사의 전체 기관 정밀도는 coefficient of variation (CV, %)가 CP-17-04, -05, -06 물질에서 각각 9.8%, 6.8%, 5.9%로 10% 이내를 보였지만, 최소값과 최대값의 차이가 무척 큰 경우가 공통적으로 관찰되었다. 2차 신빙도조사의 C-reactive protein(정량) CP-17-05 물질의 경우, 464개 전체 참여기관의 CV (%)는 6.8%였지만, 최소값이 2.6 mg/dL, 최대값이 272 mg/dL로 100배 이상의 차이를 보였으며, 이는 실제로 검사결과가 차이를 보였다기보다는 검사결과 입력 오류이거나 보고단위를 착각하여 발생했을 것으로 추정된다. C-reactive protein 검사결과를 SI unit (International System of Units, mg/L)으로 보고하려면 conventional unit (mg/dL)에 conversion factor인 10을 곱해야 하는데, 신빙도조사 결과 입력 시 정확한 단위를 확인하지 않고 개별기관에서 측정된 결과와 단위를 그대로 입력하는 경우에 오류가 발생하게 된다. 한편, 동일회사 그룹이나 동일기기 사용 그룹의 숫자가 적어서 결과 적합성 여부를 판단하는 SDI 등 통계자료를 분석할 수 없는 경우가 종종 있었는데, 이런 경우에는 각 기관에서 전체 참여기관 자료 등을 참고하여 결과가 허용범위에 드는지 여부를 개별적으로 판단할 필요가 있겠다.

Table 2 . Proficiency test results for quantitative special protein in 2017.

   TestNo. of participantsQuality control no.Mean±standard deviationCoefficient of variation (%)Median (min–max)
1st
 Alpha1-antitrypsin7CP-17-01NDND77 (71–83)
CP-17-02NDND125 (115–141)
CP-17-03NDND173 (154–202)
 Anti-streptolysin O165CP-17-0171.38±6.659.3272 (56–100)
CP-17-02126.1±9.017.14127.6 (99.5–153.1)
CP-17-03334.84±31.279.34325 (251.3–415.5)
 Ceruloplasmin14CP-17-0116.66±0.623.7216.9 (15.3–18.4)
CP-17-0232.25±1.464.5232.5 (28.6–34.1)
CP-17-0345.99±2.395.245.5 (40.8–49.5)
 C-reactive protein406CP-17-010.55±0.0611.670.6 (0.2–54)
CP-17-022.62±0.197.242.6 (0.5–268)
CP-17-034.76±0.336.854.8 (0.5–473)
 Ferritin281CP-17-0131.7±3.81233 (21–445)
CP-17-02198.2±39.419.9188 (118–282)
CP-17-03315.6±65.420.7298 (35–459)
 Haptoglobin35CP-17-0168.8±2.23.268 (65–81)
CP-17-02154.4±5.13.3154 (141–182)
CP-17-03232.1±9.24234 (204–333)
 Prealbumin26CP-17-0114.31±0.815.6814.3 (12.9–15.8)
CP-17-0223.37±1.054.4923.4 (21.3–27.2)
CP-17-0331.34±2.16.731.6 (28–38.1)
 Rheumatoid factor334CP-17-0120.26±1.738.5219.9 (10.4–57.6)
CP-17-0233.83±3.239.5434 (19–49.6)
CP-17-0346.26±4.7610.346.1 (18.6–64)
 Transferrin31CP-17-01162±4.12.5163 (144–177)
CP-17-02264.4±11.84.5264 (240–284)
CP-17-03361.1±18.35.1358 (325–401)
2nd
 Alpha1-antitrypsin7CP-17-04NDND77 (67–78)
CP-17-05NDND127 (115–138)
CP-17-06NDND178 (163–221)
 Anti-streptolysin O168CP-17-0475.9±5.917.878 (61–135)
CP-17-05135.1±8.196.1137.6 (101–351)
CP-17-06312.1±18.656315.5 (169–559)
 Ceruloplasmin14CP-17-0415.3±1.531015.8 (12.4–19.9)
CP-17-0532±26.332.8 (28.8–38.4)
CP-17-0645.8±2.365.247.5 (41.1–57.5)
 C-reactive protein464CP-17-040.6±0.069.80.6 (0.1–66)
CP-17-052.5±0.176.82.6 (0.8–272)
CP-17-065±0.295.95.1 (1.5–525)
 Ferritin295CP-17-0433±4.41335 (22–2,630)
CP-17-05163±25.816162 (100–1,258)
CP-17-06287±51.418279 (144–2,102)
 Haptoglobin35CP-17-0467±1.9368 (61–73)
CP-17-05150±4.83152 (139–261)
CP-17-06232±7.83235 (169–262)
 Prealbumin24CP-17-0414.3±0.644.414.4 (12–25.3)
CP-17-0524.6±1.24.924.8 (21–34.1)
CP-17-0633.5±2.056.133.1 (14.2–39.4)
 Rheumatoid factor363CP-17-0420.4±1.78.420.3 (0.9–28.3)
CP-17-0532.9±3.139.533 (2.4–47.7)
CP-17-0644.9±4.6210.345.7 (3.8–67.2)
 Transferrin30CP-17-04155±5.23157 (140–274)
CP-17-05274±11.14274 (251–371)
CP-17-06364±14.14365 (153–422)

Abbreviation: ND, not determined.


한편, 반정량 및 정성검사항목들에 대한 전체 참여기관의 통계값을 Table 3에 정리하였다. C-reactive protein(정성)은 두 차례 모두 가장 낮은 농도에서 합의된 결과를 도출하지 못하였는데, 이는 CP-17-01과 CP-17-04 물질이 0.5-0.6 mg/dL의 평균값을 보였기에 판정기준치(cutoff) 근처의 값이어서 이런 결과가 나왔을 것으로 추정된다. Rheumatoid factor는 1차 신빙도조사에서 세 가지 정도관리물질에 대해 모두 합의된 결과를 이끌어내지 못하였지만, 2차 신빙도조사에서는 CP-17-06 물질에 대해 positive 결과를 나타냈다.

Table 3 . Proficiency test results for qualitative special protein in 2017.

   TestNo. of participantsQuality control no.Positive (%)Negative (%)
1st
 Anti-streptolysin O76CP-17-010100
CP-17-023.996.1
CP-17-0381.618.4
 C-reactive protein48CP-17-0147.952.1
CP-17-021000
CP-17-031000
 Rheumatoid factor100CP-17-0143.057.0
CP-17-0265.035.0
CP-17-0370.030.0
2nd
 Anti-streptolysin O81CP-17-041.298.8
CP-17-0513.686.4
CP-17-0686.413.6
 C-reactive protein64CP-17-0450.050.0
CP-17-0596.93.1
CP-17-0698.41.6
 Rheumatoid factor134CP-17-0464.235.8
CP-17-0548.551.5
CP-17-0695.54.5

단백면역 정성/반정량검사에 사용된 각각의 정도관리물질은 정량검사에 사용된 물질과 동일하므로, 정성/반정량검사로 보고하는 기관에서는 정량결과로 보고하는 전체 참여기관의 평균과 표준편차 등의 통계값 및 개별 정성검사 시약의 cutoff 등을 참고하여 판단하여야 한다. 예를 들어, anti-streptolysin O CP-17-05 물질의 경우, 전체 참여기관 81곳의 결과는 86.4%가 negative로 응답하여 negative가 정답이었지만, 동일 시약회사별 분류에서는 TECO 사(Anaheim, CA, USA) 제품을 사용한 14기관 중 negative로 응답한 기관이 78.6%로 기관간 합의된 결과를 이끌어내지 못하였다. 이와 같이 전체 참여기관의 판정결과와 동일시약/기기 그룹의 판정결과가 일치하지 않거나 결론을 내지 못하는 경우에는 여러 가지 상황을 고려하여 결과를 신중하게 해석할 필요가 있다. 정성검사의 경우 동일한 시약이나 장비를 사용하는 기관의 수가 적거나 80% 이상의 합의된 결과가 나오지 않는다면 정답을 판정하기 어려운 경우가 있는데, 지속적으로 이와 같은 결과가 나오는 시약에 대해서는 회사나 기관 차원에서 추가 대책을 마련할 필요가 있을 것으로 생각된다.

2016년부터 단백면역검사프로그램은 차세대 신빙도조사사업 운영방침에 따라 전 과정이 임상검사정도관리협회 중앙에서 일괄 시행되었는데, 참여기관은 일부 항목에서 전년에 비해 상당히 증가하였으며 동료 그룹이 적은 경우에는 외부정도관리 결과를 신중하게 해석할 필요가 있다.

  1. Jun SH, Song J, Song WH. Clinical Chemistry Subcommittee, Korean Association of External Quality Assessment Service. Annual report on the external quality assessment scheme for clinical chemistry in Korea (2015). J Lab Med Qual Assur 2016;38:111-9.
    CrossRef
  2. Jun SH, Song J. Clinical Chemistry Subcommittee, The Korean Association of External Quality Assessment Service. Annual report on the external quality assessment scheme for clinical chemistry in Korea (2014). J Lab Med Qual Assur 2015;37:115-23.
    CrossRef
  3. Jun SH, Song J. Clinical Chemistry Subcommittee; The Korean Association of Quality Assurance for Clinical Laboratory. Annual report on the external quality assessment scheme in clinical chemistry in Korea (2013). J Lab Med Qual Assur 2014;36:113-21.
    CrossRef
  4. Lee YW, Jeon BR, Kim JG, Jun SH, Yun YM, Chun S, et al. Annual report on the external quality assessment scheme for routine clinical chemistry in Korea (2016). J Lab Med Qual Assur 2017;39:61-75.
    CrossRef

Supplementary File


Share this article on :

Stats or metrics