MD앤더슨과 MSK 암센터, IBM Watson의 진료 정확도를 공개하다

IBM의 수퍼컴퓨터 Watson은 2012년 미국의 퀴즈쇼 Jeopardy! 에서 인간 챔피언 두 명을 압도적으로 이긴 이후로, 다양한 분야에 진출하고 있습니다. 그러한 진출 분야 중의 하나가 바로 의료, 특히 암 진료 분야였습니다. 특히, Watson은 세계 최고의 암 병원인 뉴욕의 Memorial Sloan-Kettering Cancer Center (MSKCC)와 2012년 3월부터 폐암에 대해서, 그리고 MD 앤더슨과 2013년 10월부터 백혈병에 대해서 최적의 치료법을 도출하기 위한 연구에 돌입하였습니다.

이러한 연구가 진행된 이후, 드디어 올해 ASCO (미국임상암학회) 에서는 MSKCC와 MD 앤더슨의 연구자가 Watson의 암 환자 진료 정확성에 대해서 발표하였습니다. 참고로 ASCO는 임상 종양학과 관련된 세계에서 가장 큰 학회 중의 하나로, 국내 종양내과 선생님들도 암 치료를 위한 최신 지견을 접하시기 위해서 이 학회에 많이 참석하십니다.

 

MSKCC, Watson의 암 진단 정확도를 공개

IBM Watson은 세계에서 가장 큰 사립 암센터인, 뉴욕의 Memorial Sloan-Kettering Cancer Center (MSKCC)에서 2012년부터 일종의 ‘레지던트’ 생활을 하면서 폐암 환자에게 최적의 치료법을 내어 놓는 프로그램을 만들기 위해서, 트레이닝을 받기 시작했습니다. Watson은 논문, 치료 케이스, NCCN 가이드라인, MSKCC 내부의 치료 성공 사례 (best practice) 등 방대한 양의 의학 지식을 학습하였으며, MSKCC 의료진의 수작업 수정을 거치면서 더욱 개선되었다고 합니다.

Watson은 이렇게 방대한 양의 의학 근거 자료들을 활용해서 의사에게 정확한 치료법을 권고해주는 역할을 하도록 만들어지고 있었습니다. 이른바 ‘근거 중심 의학 (evidence-based medicine)‘은 현대 의학을 관통하는 근본 철학 중의 하나입니다. 의사의 직감이나 경험에 의존한 과거와는 달리 명확한 의학적 근거에 기반하여 환자를 치료하겠다는 것입니다. 컴퓨터인 Watson은 명확한 근거에 의해서만 판단을 내리며, 특히 매일 쏟아져 나오는 방대한 양의 의학 논문 등 영어로 표현할 수 있는 모든 근거를 학습하고 기억할 수 있다는 것이 큰 장점으로 꼽힙니다.

이에 대해서는 제 예전 포스팅들을 참고하시면 됩니다.

• 수퍼컴퓨터 IBM Watson, 의학의 미래가 될 것인가? (전편)
  
• 수퍼컴퓨터 IBM Watson, 의학의 미래가 될 것인가? (후편)

또한, 아래의 MSKCC와 Watson이 제작한 데모 동영상도 이해에 도움이 됩니다.

그렇게 MSKCC에서 개발된 ‘IBM Watson Oncology‘의 프로토타입 버전은 2013년도 ASCO(미국임상암학회)의 발표에 이어서, 2014년 ASCO에서도 그 성능을 발표했습니다. 특히 2014년 6월에 열린 ASCO에서 MSKCC의 발표에 따르면, 이미 Watson은 대장암, 직장암, 방광암, 췌장암, 신장암 등의 다양한 암종에 적용되고 있습니다.

특히, 여러 단계에 거친 트레이닝-테스트를 거쳐서 IBM Watson Oncology 의 프로토타입이 이제는 다양한 암종에 대해 거의 90% 이상의 정확도(precision)로 치료법을 제안해준다는 것을 이 발표에서는 밝히고 있습니다. (다만, 향후 추가적인 연구로 blind test 를 언급하는 것으로 봐서, 이 연구는 제한된 상황 하에서 이뤄진 것 같습니다) 또한, 이번 발표에는 폐암과 유방암 등 메이져 암종에 대해서 발표되지는 않았지만, 이러한 암에도 확대될 수 있을 것으로 기대한다고 합니다.

 

MD 앤더슨, Watson의 백혈병 진료 결과를 공개

그런가 하면, 2013년 10월에는 또 다른 세계 최고의 암 병원 중의 하나인 MD 앤더슨 암센터에서 Watson과의 협력을 통해  암을 정복하는 ‘Moon-Shot’ 프로젝트를 진행하겠다고 밝혔습니다. MD 앤더슨은 Watson을 이용하여 Oncology Expert Advisor (종양학 전문가 어드바이저) 를 개발하여, 백혈병을 시작으로 다양한 암의 정복을 위해서 활용한다는 계획이었습니다.

특히, 아래의 동영상에서 나오는 바와 같이 MD 앤더슨에서는 Watson을 암의 유전정보 분석을 활용한 맞춤 치료에도 활용할 것임을 시사하고 있습니다. (MSKCC의 연구에서는 유전체와 관련된 내용은 강조되지 않았습니다) 참고로, Watson은 2014년 3월, 뉴욕 게놈 센터와의 협력을 통해, 뇌암의 일종인 악성 뇌교종 (glioblastoma)의 유전체 분석 연구에도 활용될 것임을 발표한 바 있습니다.

이번 ASCO 2014에서는 MD 앤더슨의 연구 결과도 역시 발표되었습니다. 400명의 기존 백혈병 환자들의 사례들을 학습하고, 표준 치료법을 권고하도록 학습받은 Oncology Expert Advisor 는 새로운 200명의 백혈병 환자에 대해서 치료 권고안을 얼마나 정확하게 내어놓을 수 있는지에 대해서 테스트 받았습니다. Watson의 치료법의 정확도를 판단하기 위해서 MD 앤더슨의 의사들이 이 환자들에 대해 실제 어떠한 진단을 내렸는지를 기준으로 삼았습니다.

결과는 놀라웠습니다. Watson이 부정확한 치료법을 내어 놓은 경우 (false positive)는 2.9%에 지나지 않았고, 정확한 치료법 권고안이 낮은 점수를 받은 경우(false negative)는 0.4%에 지나지 않았다고 합니다. 그리고 전체적인 정확도 (overall accuracy)는 82.6% 였습니다. 이 발표를 내어 놓은 MD 앤더슨의 Koichi Takahashi 박사는 (위 동영상에도 등장합니다) Watson이 상당히 높은 정확도 (reasonably high accuracy)에 도달했다고 평가했습니다.

Koichi Takahashi 박사의 ASCO 2014 발표

Koichi Takahashi 박사는 ASCO 2014에서 “MD Anderson’s Oncology Expert Advisor Powered by IBM Watson: A Web-Based Cognitive Clinical Decision Support Tool” 라는 제목으로 발표를 했습니다. 사실 발표의 abstract에는 위와 같은 내용이 포함되어 있었지만, 실제 발표에서는 이 수치는 따로 언급되지는 않았습니다.

대신 아래와 같이 세 가지 측면에서 Oncology Expert Advisor 가 MD 앤더슨에서 활용되도록 개발되고 있다는 점을 언급했습니다.

• 환자 의료기록 요약 (Dynamic Patients Summary): EMR의 환자의 정형/비정형 (structured/unstructured) 의료 데이터를 요약하여, 의사가 한 눈에 파악할 수 있게 제공. 환자 진료를 준비하기 위해 펠로우가 환자의 기존 의료 기록 및 결과들을 요약하고 확인하는 과정과 비슷. 시간에 따라서 환자의 상태 및 테스트 결과가 어떻게 변화하였는지도 그래프 등을 통해 한 눈에 볼 수 있도록 제공.
• 근거 중심의 치료 옵션 권고 (Evidence-based treatment options): 환자의 의료 기록 및 치료 가이드라인, 의학 논문, MD 앤더슨의 치료 정책 등을 바탕으로, 의사에게 치료 권고안을 제공. 권고안은 신뢰도와 함께 제공되며, 그러한 권고안에 대한 논리 및 근거 자료, 가이드라인 등을 확인할 수 있음. 권고안은 표준 치료에 그치지 않고 임상시험 중인 약 까지 포함.
• 환자 관리법 권고 (Care pathway advisory):  환자의 치료 효과를 극대화 하기 위해서, 환자에게 예상되는 부작용이나 합병증에 대해, 사전에 미리 조치할 수 있는 부분들을 권고하여 환자 관리에 도움 제공

 

의사 vs. Watson ?

이러한 연구를 보면, 당연히 나오는 질문은 ‘Watson이 과연 인간 의사보다 더 나은가?‘ 하는 것입니다. 하지만 이 연구에서는 이 질문에 답변하기는 어렵습니다. 왜냐하면, Watson의 정확도를 판단하기 위해서 MD 앤더슨의 인간 의사가 기존에 진단했던 결과를 ‘정답’으로 가정했기 때문입니다.

제가 최근에 서울대병원의 교수님들을 대상으로 세미나를 하면서 이 MD 앤더슨의 결과를 보여드렸습니다. 그 때 한 교수님께서 ‘하지만, 오히려 Watson이 내어놓은 결과가 맞고, 의사의 진단이 틀릴 수도 있지 않나? 그러한 경우는 이 연구에서는 알 수가 없는 것인가?’ 라고 질문을 하셨습니다. 정확히 옳은 지적으로, 이미 인간 의사의 판단을 ‘정답’으로 가정했기 때문에, 인간의 진료와 불일치하는 결과가 나온다면 이는 ‘틀린 것’으로 간주될 수 밖에 없습니다.

사실 Watson과 인간 의사 중 누가 더 정확한 판단을 내리는지를 판단하기는 방법론적으로 어려운 점이 있을 것으로 생각합니다. 누가 더 나은지를 통계적으로 유의미하게 판단하기 위해서는 신약 개발을 하듯이 실험군과 대조군을 가지고 대규모 환자에 대해 전향적 (prospective)으로 환자의 치료 결과를 확인하면서 비교 임상 시험을 해야 합니다. 하지만, 이는 윤리적으로 문제가 있기 때문에 쉽지 않을 것 같습니다.

또한, ‘인간 의사’ 라는 그룹도, 실제로는 의사에 따라서 같은 환자라고 하더라도 다른 치료법을 수행하기로 결정할 수 있습니다. 따라서 단순히 “의사 vs. Watson” 의 비교 및 결론을 도출하는 것은 앞으로도 쉽지 않으리라 생각합니다.

 

Watson이 의사에게 날개를 달아줘요!

실제 의료계에서 Watson을 활용하려고 하는 연구들을 보면, 의사가 나은가, Watson이 나은가 하는 흥미 위주의 이슈보다는, Watson이 인간 의사를 효과적으로 지원하기 위해서 활용될 수 있는가에 더 초점을 맞추고 있습니다. 결국 치료법 결정에 대한 최종 결정권자는 인간 의사가 될 수 밖에 없고, Watson은 의사가 의사결정을 보다 효과적/효율적으로 내릴 수 있도록 보조적인 역할을 하게 될 것입니다. 비유하자면, 차량 네비게이션이 ‘가장 빠른 길’을 몇가지 제공해줄 수는 있지만, 어느 길로 갈지 의사결정을 해야 하는 것은 결국 운전자입니다.

MD 앤더슨에서 Watson으로 만든 툴을 ‘조언자’라는 의미가 들어가는 ‘Oncology Expert Advisor’라고 부르는 것도 그렇고, Takahashi 박사의 발표 제목에서도 ‘의료 의사결정 지원 툴(Oncology Expert Advisor)’ 이라고 언급되는 것도 그러한 이유라고 볼 수 있습니다.

Watson이 일정 정확도 이상의 성능을 보여준다면 과중한 업무에 시달리는 종양내과 의사 선생님들이 일선 진료에서 도움을 받을 수 있을 것입니다. (제가 아는 한 Big 5 대학병원의 종양내과 선생님은 하루에 100명 이상의 환자를 진료하시기도 합니다) 특히, MD앤더슨의 발표에서도 언급된 바와 같이 Watson이 치료법 권고 뿐만 아니라, 환자 의료 기록을 요약하고, 진료 성과나 치료 결과의 변화 추이를 한 눈에 볼 수 있게 요약해준다면 임상의들의 수고를 상당 부분 줄일 수 있을 것으로 생각합니다.

MSKCC 와 MD 앤더슨의 이번 2014 ASCO 발표에서는 모두 ‘앞으로 Watson을 더욱 개선시키겠다’는 계획을 이야기 했습니다. 아마 내년 ASCO에서는 또 한 단계 더 진보된 결과를 볼 수 있지 않을까 합니다. 벌써 그 발표가 기다려집니다.