현재 스마트폰으로 피부 사진을 찍어서, 이것이 skin cancer 인지를 판별해주는 앱이 몇가지가 있습니다. 이 앱의 정확성에 대해 조사한 논문 및 아티클이 보고가 되었습니다. 결과적으로 진단 결과가 아주 정확하지는 않았고, 4개의 서로 다른 앱들이 약 30% 의 false negative rate (실제로는 피부암인데, 앱은 ‘암이 아니다’라는 결과를 준 경우) 을 보였다고 보고 되었습니다.
가장 정확한 app은 24시간 내에 아예 그 사진을 전문의에게 전송하여 진단을 받게 하는 앱이었고, 반면 알고리듬만으로 자동으로 판별하게 하는 앱은 정확도가 떨어진다고 나오네요.
In a recent study, researchers found that four different smartphone apps all claiming to be able to identify skin cancer came up with variable results. Most disturbingly, three out of the four apps categorized melanomas (i.e. skin cancer) as normal 30% of the time.
The three apps that failed to spot melanomas 30% of the time all use digital image analysis techniques. Computers decide whether a mole is cancerous or not. The fourth app actually sends images to a dermatologist, who replies with an evaluation in 24 hours.
링크한 칼럼에는 전반적으로 이런 앱에 대한 부정적인 어투로 씌여져 있지만, 제 생각에는 일단 스마트폰을 이용해서 이런 방법 자체가 ‘가능하다’ 는 것이 제게는 엄청난 발전으로 보이고, 또한 여느 암 진단 키트나 진단 방법들도 어느 정도의 false positive, false negative rate을 보이게 마련이지요. (그것과 비교했을 때 FNR 이 30% 라는 것이 조금 높아 보이긴 합니다만), 일단 처음부터 완벽한 방법이 어디 있겠나… 하는 생각이 듭니다.
여타 예측 툴과 마찬가지로 결국 machine learning technique 등을 사용하는 예측 툴의 경우, 예측을 어떠한 방법으로 하느냐, 그리고 training dataset 의 질과 양에 따라서 예측의 정확도 또한 크게 좌우 됩니다. 이러한 분야도 마찬가지로 dataset이 쌓여갈수록 정확도는 더욱 높아질 것으로 생각합니다. 더욱이 사진으로 skin cancer를 판별할 수 있다면, 다른 피부 관련 질환들도 역시 판별할 수 있게 되지 않을까 하는 생각도 해봅니다. 참으로 재미있는 시대에 살고 있는 것 같습니다.
아래는 위에서 언급한 “Diagnostic Inaccuracy of Smartphone Applications for Melanoma Detection” 논문의 Abstract 입니다.
Objective To measure the performance of smartphone applications that evaluate photographs of skin lesions and provide the user with feedback about the likelihood of malignancy.
Design Case-control diagnostic accuracy study.
Setting Academic dermatology department.
Participants and Materials Digital clinical images of pigmented cutaneous lesions (60 melanoma and 128 benign control lesions) with a histologic diagnosis rendered by a board-certified dermatopathologist, obtained before biopsy from patients undergoing lesion removal as a part of routine care.
Main Outcome Measures Sensitivity, specificity, and positive and negative predictive values of 4 smartphone applications designed to aid nonclinician users in determining whether their skin lesion is benign or malignant.
Results Sensitivity of the 4 tested applications ranged from 6.8% to 98.1%; specificity, 30.4% to 93.7%; positive predictive value, 33.3% to 42.1%; and negative predictive value, 65.4% to 97.0%. The highest sensitivity for melanoma diagnosis was observed for an application that sends the image directly to a board-certified dermatologist for analysis; the lowest, for applications that use automated algorithms to analyze images.
Conclusions The performance of smartphone applications in assessing melanoma risk is highly variable, and 3 of 4 smartphone applications incorrectly classified 30% or more of melanomas as unconcerning. Reliance on these applications, which are not subject to regulatory oversight, in lieu of medical consultation can delay the diagnosis of melanoma and harm users.
(이미지 출처: http://www.fastcoexist.com/1681240/when-diagnostic-health-apps-fail-skin-cancer-edition)
1 Comment