• Sitemap
  • Contact us

pISSN 2384-2458 eISSN 2288-7261
Article View

Original Article

J Lab Med Qual Assur 2019; 41(3): 166-171

Published online September 30, 2019

https://doi.org/10.15263/jlmqa.2019.41.3.166

Copyright © Korean Association of External Quality Assessment Service.

Design and Laboratory Implementation of Web Application for Collaboratively Setting Reference Intervals

Byung Ryul Jeon and Yong-Wha Lee

Department of Laboratory Medicine & Genetics, Soonchunhyang University Bucheon Hospital, Soonchunhyang University College of Medicine, Bucheon, Korea

Correspondence to:Yong-Wha Lee
Department of Laboratory Medicine and Genetics, Soonchunhyang University Bucheon Hospital, Soonchunhyang University College of Medicine, 170 Jomaruro, Wonmi-gu, Bucheon 14584, Korea
Tel: +82-32-621-5943 Fax: +82-32-621-5944 E-mail: lywmd@schmc.ac.kr

Received: March 5, 2019; Revised: May 27, 2019; Accepted: June 11, 2019

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Background:

Although the same equipment and reagents can be employed for inspecting identical samples, the setting and verification methods for the corresponding reference intervals differ from each other, and such methods are not well established. To address the issues associated with establishing and validating reference intervals, a Web-based application is proposed for collaboratively setting reference intervals.

Methods:

A Web application was designed for automatically providing the statistical results associated with a reference interval upon receiving the corresponding test results from participating institutions and incorporating the cumulative data.

Results:

By employing the proposed Web-based application (www.referencerange.org), reference intervals can be collaboratively set based on objective and statistical analyses incorporating clinical chemistry results obtained from Korea Healthcare Association in the years 2016 and 2017. Cumulative data obtained from the existing input peer group associated with an inspection are updated in real time, and the current set reference interval is displayed in real time.

Conclusions:

In this study, a Web-based application is designed for collaboratively setting reference intervals whereby all Korean laboratories can easily participate, collectively set reference intervals, and apply the set reference intervals. Hence, the proposed application can aid in providing basic data associated with health information.

Keywords: Reference interval, Web-based application, Laboratory test

환자의 진단의학검사 결과는 참고구간과 함께 보고되며 참고구간을 바탕으로 한 검사결과의 판정은 의학적 의사 결정에 매우 중요한 영향을 미친다. 새로운 검사를 도입하거나 검사법 변경 시 참고구간의 정확한 설정 및 적절한 검증이 요구되나[1-5], 진단의학검사실마다 참고구간 설정과 검증방법이 서로 다를 뿐만 아니라 표준화되어 있지 않고 주관적이어서 일부 검사실에서 일부 항목에 대해 참고구간이 실제 잘못 설정되고 검증된 상태로 적용되어 사용되고 있다.

실제로 동일 항목에 대해 동일 장비와 시약을 사용하는 경우라 하더라도 참고구간 설정과 검증방법이 제각기 다르고 정립되어 있지 않은 실정이다. 이에 본 연구에서는 실제 검사실에서 이상적으로 적용할 수 있는 적절한 참고구간 설정방법을 제시하고 검사실에서 쉽게 활용할 수 있도록 하고자 하였다. 또한 참고구간 설정에 있어서 장애요인으로 여겨지는 충분한 수의 건강인 데이터 확보 문제와 참고구간 설정에 필요한 통계분석의 적용에 대한 문제를 근본적으로 해결할 수 있는 웹 기반 프로그램을 구축하고자 하였다.

검사실에서 시행되는 개별 검사들에 대해 일일이 독립적인 참고구간 설정을 하는 것은 불가능할 것으로 예측됨에 따라 동일한 장비와 시약을 사용하는 검사실 간의 웹 네트워킹을 통해 데이터를 입력하고 참고구간 설정 통계분석 결과를 참여기관이 실시간 조회하고 각자의 검사실에서 임상적으로 곧바로 적용할 수 있는 웹 기반 참고구간 공동 설정방안을 개발하였다.

1. 웹 기반 참고구간 공동설정 프로그램 개발 및 적용

참여기관에서 1개 이상의 건강인 검체 결과를 입력함으로써 참여한 모든 기관으로부터 얻어진 누적된 결과가 반영된 참고구간 설정 결과가 실시간으로 조회될 수 있는 웹 프로그램을 개발하였다. 웹을 통해 자유롭게 참여하고 최소 한 명의 건강인 검체 결과만이라도 획득한다면 오픈된 웹을 통해 결과를 입력하고 동일한 항목에 대해 다른 기관에서 입력된 누적 결과와 통합된 데이터베이스를 바탕으로 실시간 새로이 설정된 참고구간을 조회해 볼 수 있는 참고구간 공동설정도구를 개발하였다.

검사실 간 네트워킹을 기반으로 한 참고구간 공동설정용 웹은 우분투 서버(14.04 LTS; Canonical Ltd., London, UK; http://www.ubuntu.com/) 환경에서 nginx 1.4 (http://nginx.org)를 웹 서버 소프트웨어로 사용하고 Web Server Gateway Interface (WSGI) 서버 소프트웨어는 uWSGI ver. 2.0 (http://projects.unbit.it/uwsgi/)을 이용하여 운영하였다. 웹 서비스는 python ver. 3.4 (http://www.python.org) 프로그래밍 언어를 이용하여 개발하였다[6,7]. 개발에 이용한 웹 프레임워크는 Django ver. 1.8 (Django Software Foundation; http://www.djangoproject.com/)이며, 참고구간 설정 및 차트 작성을 위한 통계처리프로그램은 numpy ver. 1.9 (http://www.numpy.org/) 모듈과 pandas ver. 0.16 (http://pandas.pydata.org/) 모듈을 이용하여 개발하였다. 사용자 인터페이스(user interface) 부분은 jQuery Mobile ver. 1.4 (The jQuery Foundation; http://jquerymobile.com/)을 기반으로 개발하였고, 히스토그램 차트는 flot ver. 0.8 (http://www.flotcharts.org/) 라이브러리를 이용하였다. 웹 주소는 http://www.referencerange.org이다.

2. 프로그램을 활용한 데이터 입력 및 참고구간 자동 설정

한국건강관리협회로부터 익명화된 건강인의 과거 검체 검사결과 데이터를 제공받아 프로그램에 입력하였다. 웹 기반 프로그램에 누적된 입력정보를 바탕으로 참고구간 설정에 필요한 평균, 표준편차, 중앙값, 최소값, 최대값과 퍼센타일을 포함하여 로그치환 값, 왜곡도 검증, 정규성 검증과 누적분포 등 통계분석이 제공되도록 하였다[8,9]. 분석자료에는 입력기관명과 극단적인 측정값(Tukey 법칙)이 자동 제거된 측정값을 포함하여 검사항목, 항목별 기기 및 시약정보가 포함되도록 하였다. 검사항목별로 건강인의 성별, 나이와 검사결과가 포함되도록 하였다.

1. 웹 기반 참고구간 공동설정 프로그램 개발

국내 어느 검사실이나 실시간 웹을 통해 접속 및 입력 가능하며 검사별로 각 검사실에서 사용하는 장비와 시약에 대한 정보 및 참고 검체에 대한 성, 연령 및 측정값 정보를 개수에 상관없이 입력하면(Fig. 1), 해당 검사별 기존 입력된 피어그룹의 누적된 데이터가 실시간 업데이트되어 통계 처리된 후 설정된 참고구간이 조건별로 실시간 조회될 수 있도록 하였다. 참고구간 공동설정을 위해 개발된 웹 앱의 입력정보 화면 및 실시간 참고구간 설정화면은 Fig. 2와 같다.

Figure 1.

Data input page of the web-based collaboratively setting reference interval program.


Figure 2.

Statistics page for the collaborative reference interval setting of glucose test by age group, gender and institution.


2. 프로그램을 활용한 데이터 입력 및 참고구간 설정

웹 기반 참고구간 공동설정 프로그램을 활용하여 한국건강관리협회로부터 얻어진 2016년과 2017년 임상화학분야 결과를 바탕으로 객관적이고 통계적 분석근거를 갖춘 참고구간을 설정하였다. 기초통계 외에도 결과의 정규분포 여부를 쉽게 파악하여 해당되는 참고구간을 바로 확인할 수 있도록 하였고 상한치와 하한치에 90% 신뢰구간을 부여하였다. 전체 수가 120명 이상 여부에 따라 적용되어야 할 참고구간 설정방법이 달라지도록 하였고 그에 따른 참고구간이 제시될 수 있도록 하였다. 또한 연령대(10세 단위)와 성별 참고구간이 독립적으로 설정되도록 하였다.

분석자료에는 입력기관명과 극단적인 측정값(Tukey 법칙)이 자동 제거된 측정값을 포함하여 검사항목, 항목별 기기 및 시약정보가 포함되도록 하였다. 검사항목별로 건강인의 성별, 나이와 검사결과가 포함되도록 하였다. 각 항목에 대한 통계분석 결과화면에는 기본적으로 참여기관 수, Tukey법에 근거한 아웃라이어가 제거된 총 검체 수와 자동 제거된 아웃라이어 수가 표시되도록 하였다.

검사방법별 통계분석 결과에서는 검사장비별, 검사시약별 분석대상 검체 수가 표시되도록 하였다. 피어그룹별 정보에는 연령대별, 성별, 기관별 결과가 표시되도록 하였는데, 본 연구에서는 연령대의 구간을 10세 단위로 나누어 10세 미만부터 90세 이상까지 10개의 연령대 구간에 대한 통계결과가 제시되도록 하였다. 성별 통계분석 결과도 남성과 여성 각각에 대해 통계가 이루어지도록 하였다.

전체 대상자와 각 그룹별 대상자에 대한 참고구간 설정 통계결과는 기본적으로 각 대상자 수, 평균값, 중앙값, 표준편차, 최소값, 최대값, 5퍼센타일 값과 95퍼센타일 값을 볼 수 있도록 하였고, 정규분포 여부를 보기 위해 대상자 수가 1,000명 미만이면 Shapiro-Wilk 검증을, 1,000명 이상이면 Kolmogrov-Smirnov 검증이 시행되어 P-value에 따라 정규 여부를 판정하고 정규분포를 보이지 않을 경우 비모수적 통계결과를 따르도록 했다. 대상자들의 검사결과 분포를 한 눈에 볼 수 있도록 히스토그램과 누적히스토그램 그래프를 제공하였고 성별, 연령대별 그룹 간 결과값의 유의한 차이가 있는지 보기 위해 정규분포와 비정규분포 여부에 따라 통계기법을 적용하여 확인할 수 있도록 하였다.

적용 참고구간은 대상자 수에 따라 달라지면 120명 미만일 경우 Robust 방법을 적용하여 참고구간이 설정되도록 하였고 120명 이상일 경우 정규분포 여부에 따라 모수적 방법, 비모수적 방법, 로그치환 방법 등에 의한 참고구간이 제시되도록 하였다. 제공되는 참고구간의 하한치와 상한치 외에도 해당 값에서 보일 수 있는 90% 신뢰구간 값까지 제공하여서 하한치와 상한치의 신뢰도까지 확인 가능하도록 하였다.

본 연구에서는 참고구간 설정에 있어서 가장 큰 걸림돌이라 할 수 있는 충분한 수의 건강인 데이터 확보 문제와 참고구간 설정에 필요한 통계분석의 적용에 대한 문제를 근본적으로 해결할 수 있는 웹 기반 참고구간 공동설정 프로그램을 개발하였고 검사실이 이를 활용하여 용이하게 참고구간을 설정할 수 있도록 하였다.

국내 진단의학검사실 대부분은 주로 참고구간 설정을 위한 검체 확보의 어려움과 참고구간 설정을 위한 인력과 검사자원 조달의 어려움으로 인해 검사실이 독립적으로 참고구간을 설정하는 데 있어서 큰 어려움이 있고 대부분의 검사실이 참고구간 검증으로 참고구간 설정을 대신하고 있다. 검사실에서 검증하는 참고구간의 대부분은 제조사에서 제시하는 참고구간일 뿐만 아니라 제시된 참고구간이 비정상적으로 넓거나 좁은 경우가 많으나 이를 참고구간 검증방법만으로 정확히 검증하기가 어려워 충분한 검증 없이 그대로 도입하여 사용하는 경우가 대부분이다.

본 웹 기반 프로그램을 통해 전국의 어느 검사실에서나 자유롭게 참여하여 실시간으로 참고구간 공동설정과 결과판정에 적용할 수 건강인 검체 결과를 입력하면 다른 검사실에서 입력된 누적 결과와 통합된 데이터베이스를 바탕으로 새로이 설정된 참고구간이 실시간 자동으로 조회되고, 이는 검진 결과 판정기준인 참고구간으로 곧바로 적용될 수 있을 뿐만 아니라 참고구간 공동설정의 근거자료로도 활용이 가능하다. 즉 동일한 장비와 시약을 사용하는 검사실들로부터 입력된 결과 정보가 본 웹 기반 프로그램에 저장됨과 동시에 프로그램 자체의 통계분석 프로세스에 의해 정제된 참고구간 결과가 실시간 제공되며, 설정된 참고구간 결과를 참여기관이 실시간으로 조회하고 각 검사실에서 결과 판정을 위한 참고구간으로 곧바로 적용할 수 있는 웹 기반 참고구간 공동설정도구를 마련한 것에 의미가 있다.

웹 기반 참고구간 공동설정 프로그램을 통해 지역별, 성별, 연령별, 검사방법별, 측정기기별 및 시약별 참고구간 설정에 관한 결과 통계 및 데이터베이스를 구축함으로써 향후 한국인의 건강정보를 파악하는 기초정보로 유용하게 활용될 수 있을 것으로 생각되었다.

본 웹 프로그램을 기반으로 국내 여러 기관으로부터 얻어진 대량의 건강인 검체 검사를 통해 실시간 정확한 참고구간을 설정하고 조회하는 것이 가능해졌고 향후 참여기관의 로그인 정보 등록을 통해 참여기관의 입력 정보를 확인하고 관리가 가능하도록 보완할 예정이다.

본 연구에서는 기존 참고구간 설정 및 검증법의 한계를 극복하기 위해 국내 모든 검사실이 쉽게 참여하고 공동으로 설정된 참고구간을 조회하고 적용할 수 있는 참고구간 공동설정을 위한 웹 기반 프로그램을 개발하였고 국내 검사실들이 정확하고 통계적 근거를 갖춘 참고구간을 쉽고 편하게 사용할 수 있도록 하였다.

본 연구는 2015년 대한임상검사정도관리협회 학술연구비 지원과 한국건강관리협회 학술연구과제(2017-04) 지원으로 이루어졌다

  1. Clinical and Laboratory Standards Institute. Defining, Establishing and verifying reference intervals in the clinical laboratory. 3rd edition. Wayne (PA): Clinical and Laboratory Standards Institute, 2010:EP28-A3c.
  2. Lee KN, Yoon JH, Cho HI, Na EH, Moon SY, Park JY, et al. A study on reference values from health checkup data of Korea Association of Health Promotion by indirect method:a study on standardization of reference values among laboratories of Korea Association of Health Promotion II. J Lab Med Qual Assur 2009;31:309-15.
  3. College of American Pathologists. Laboratory accreditation program checklist and manual. Northfield (IL): College of American Pathologists, 2016.
  4. The Korean Society for Laboratory Medicine;Laboratory Medicine Foundation. Clinical laboratory accreditation program inspection check list, laboratory management. Seoul: The Korean Society for Laboratory Medicine, 2016.
  5. McPherson RA, Pincus MR. Henry's clinical diagnosis and management by laboratory methods. 22nd ed. Philadelphia (PA): Elsevier Saunders, 2011.
  6. Python Software Foundation. Python Language Reference, version 3.4. http://www.python.org (Accessed June 1, 2017).
  7. McKinney W. Data structures for statistical computing in Python. https://conference.scipy.org/proceedings/scipy2010/pdfs/mckinney.pdf (Accessed June 1, 2017).
  8. Katayev A, Balciza C, Seccombe DW. Establishing reference intervals for clinical laboratory test results:is there a better way?. Am J Clin Pathol 2010;133:180-6.
    Pubmed CrossRef
  9. Aytekin M, Emerk K. Accurate reference intervals are required for accurate diagnosis and monitoring of patients. EJIFCC 2008;19:137-41.
    Pubmed KoreaMed

Supplementary File


Share this article on :

Stats or metrics