최근 Nature Medicine에 실린, LLM이 헬스케어를 변화시키는 여섯가지 방식에 대한 짧은 리뷰 아티클입니다. 관련 연구 및 사업을 하는 여섯 명의 전문가의 의견을 짤막하게 정리하였습니다. 대부분 자신이 현재 하고 있는 연구 혹은 사업에 대한 설명과 향후 전망에 대해서 이야기하고 있습니다. 간략히 요약해보면,
1. Virtual Nurses: 미국에서 만성질환 환자에 비해서 간호사가 너무 부족하기 때문에 LLM이 이러한 간호사의 역할을 보조할 수 있다는 것입니다. 최근에 실리콘밸리의 의료 LLM 스타트업으로 Hippocratic AI라는 팀이 유명한데, 이런 virtual nurses를 개발하고 있지요. 이 CEO의 인터뷰입니다.
LLM이 간호사의 여러 administrative 업무를 보조하고, 만성질환 환자에게 ‘목소리’로 환자들의 질문을 듣고, 답하고, 스케쥴 잡고, 복약 알람 주고, 치료 계획에 대해서 설명해주고 등등의 업무를 한다는 이야기입니다.
LLM 간호사를 개발하기 위해서 이 회사는 독립적인 모델을 개발하고 있는데, 만성질환 간호사와 환자 (배우) 사이의 대화를 학습하고, 천 명 이상의 간호사를 리크루팅해서 double-blind randomize trial까지도 진행하고 있다고 합니다. 향후 질병별, 프로시져별로 단계적으로 상용화하여 출시할 것이라고.
2. Clinical Note Taking: LLM의 의료 활용을 이야기할 때 대표적으로 많이 언급되는 활용법이지요. 의사들을 ‘키보드에서 해방한다’는 것인데요. 만성질환 환자의 진료 사이에 환자/보호자를 체크해주거나, 환자에게 진료를 기록/요약해주는 등을 통해 의사의 업무를 더 효율적/빠르게 만들어줍니다. 최근에 오라클에서 이런 디지털 어시스턴스를 내년 말까지 내어놓겠다고 발표했다고.
3. Adverse-event detection: 구조화되지 않아서 지금까지 많이 활용되지 못했던 EMR의 clinical note를 LLM으로 분석해서 adverse event 를 찾아내는 것. 과거의 자연어 처리 기술이나 BERT 등의 초기 모델 등에 비해서 GPT-4 로 발전하면서 기술적인 난관이 많이 줄어들었다고. 향후에는 신약 출시 이후의 안전성에 대한 PMS 에도 활용할 수 있을 것이라고.
4. Prediction cancer metastatis: 암 환자가 시간에 따라 촬영한 CT의 레포트를 LLM으로 분석해서 암의 진행 패턴을 파악해서, 암의 전이를 예측하고, 특정 약에 대한 치료 반응을 예측할 수 있음. (레퍼런스를 찾아보니, 이 연구는 LLM이 아니라 기존의 CNN, RNN으로 분석해서 괜찮은 성능을 보였던 연구인데) 이런 방식으로 개별 암 환자에 대한 진정한 정밀 의료를 구현할 수 있다고 주장함. MSKCC 등과 연구를 함께 하는 연구자인데, 흥미롭게도 이런 인공지능을 이미 임상에서 활용하고 있다고 이야기.
5. Social determinants of health: LLM으로 구조화된 EMR 등에서 잘 찾을 수 없는 unstructured, non-medical information의 social determinants 들을 분석해서 social support 가 필요한 사람을 찾아내는 것. 혹은 EMR의 clinical note에 포함된 nursing, nutrition, rehabilitation, social work, admission, death 등등을 분석. 만성질환에 social determinants와 inequity 같은 주제들이 중요해지고 있는데, 이에 대한 툴로 LLM을 활용하기.
6. Conversational AI diagnostics: 기존의 의료 영상 기반의 진단 보조 tool 을 챗봇/대화 형식으로 사용자와 interaction할 수 있게 해주는 것. 의사가 이런 인공지능을 활용하면서 질문을 하고, 레포트 초안을 만들거나 하는 등의 방식으로 활용하기. LLM을 기존의 맘모그라피 등의 시스템에 연동시키는 것이 기술적으로 크게 용이해지고 있다고.
아티클을 전반적으로 읽어보면, 기존의 NLP (자연어 처리) 분야에서 시도해오던 아이템들을 주로 이야기하고 있습니다. LLM을 통해 과거의 기술적인 난관이 많이 줄어들었기 때문에 예전부터 해오던 주제들을 이제는 더 손쉽게 구현하고, 더 높은 퍼포먼스를 보여줄 수 있는 것이지요.
그런데 이런 의견들이 현재의 LLM의 잠재력을 진정으로 활용하는 것인지는 잘 모르겠네요. 이런 아티클을 볼 때마다 드는 생각은 기존의 전문가들의 의견도 중요하지만, 갈수록 outside-box 로 기존에 생각하지 못했던 방식의 활용에서 더 임팩트가 나오는 것이 아닐까 하는 생각이 듭니다. (이 이슈에서는 저도 자유롭지 않은 것 같습니다)
더 나아가면, 최근에 구글의 Gemini 발표에서 나오는 것처럼 이제는 언어 모델을 넘어서 멀티모달이 당연시되고 있는데, 이 아티클은 여전히 언어모델에 기반한 디스커션입니다. 이제 멀티모달 쪽으로 무게중심이 넘어가면 이런 논의의 방향도 크게 달라져야 할 것 같습니다.
This is a short review article recently published in Nature Medicine, discussing six ways in which Large Language Models (LLMs) are transforming healthcare. It briefly summarizes the opinions of six experts involved in related research and business. Most of them talk about the research or business they are currently doing and their future prospects. To summarize briefly,
1. Virtual Nurses: In the US, there is a significant shortage of nurses compared to the number of patients with chronic illnesses. LLMs can assist in the roles of these nurses. A medical LLM startup named Hippocratic AI has gained fame for developing such virtual nurses.
2. Clinical Note Taking: A widely mentioned use of LLMs in healthcare. It aims to ‘liberate doctors from the keyboard’. It includes checking on patients/caregivers between chronic disease consultations and summarizing the consultations for patients, making doctors’ work more efficient and faster. Recently, Oracle announced the release of such digital assistance by the end of next year.
3. Adverse-event detection: Using LLMs to analyze unstructured clinical notes from EMR to identify adverse events. Technological difficulties have significantly reduced with the advancement to GPT-4 compared to early models like natural language processing techniques or BERT. In the future, it can also be used for PMS of drug safety after new drug releases.
4. Prediction of Cancer Metastasis: Analyzing CT reports taken over time of cancer patients with LLMs to understand the progression pattern of cancer and predict metastasis and treatment responses to specific drugs. Such methods claim to implement true precision medicine for individual cancer patients. Researchers working with organizations like MSKCC are interestingly already using such AI in clinical settings.
5. Social Determinants of Health: Using LLMs to analyze unstructured, non-medical information like social determinants of health that are hard to find in structured EMRs. Or analyzing nursing, nutrition, rehabilitation, social work, admissions, deaths, etc., in clinical notes of EMRs.
6. Conversational AI Diagnostics: Allowing users to interact with traditional medical imaging-based diagnostic tools through chatbot/conversational formats. Doctors can use such AI to ask questions, draft reports, etc. Technically, integrating LLMs with existing systems like mammography is becoming much easier.
Overall, the article discusses items that have been attempted in the field of NLP (Natural Language Processing). With LLMs, many of the past technical challenges have been greatly reduced, making it easier to implement these topics with higher performance.
However, it’s uncertain whether these opinions truly utilize the potential of current LLMs. Whenever I read such articles, I wonder if more impactful results might come from using LLMs in ways outside the box, beyond the thoughts of traditional experts. (I feel I am not free from this issue either)
Furthermore, multimodal is now a given beyond language models, as evidenced by Google’s recent Gemini announcement, but this article is still a language model-based discussion, and I think the direction of this discussion will need to change significantly as the center of gravity shifts to multimodal.
