論文の概要: LLM-driven Multimodal Target Volume Contouring in Radiation Oncology
- arxiv url: http://arxiv.org/abs/2311.01908v3
- Date: Mon, 15 Apr 2024 16:43:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 01:50:05.237827
- Title: LLM-driven Multimodal Target Volume Contouring in Radiation Oncology
- Title(参考訳): 放射線オンコロジーにおけるLLM駆動マルチモーダルターゲットボリューム構成
- Authors: Yujin Oh, Sangjoon Park, Hwa Kyung Byun, Yeona Cho, Ik Jae Lee, Jin Sung Kim, Jong Chul Ye,
- Abstract要約: 大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。
LLM駆動型マルチモーダルAI,すなわちLLMSegを提案する。
提案モデルでは,従来のユニモーダルAIモデルと比較して,性能が著しく向上していることが実証された。
- 参考スコア(独自算出の注目度): 46.23891509553877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Target volume contouring for radiation therapy is considered significantly more challenging than the normal organ segmentation tasks as it necessitates the utilization of both image and text-based clinical information. Inspired by the recent advancement of large language models (LLMs) that can facilitate the integration of the textural information and images, here we present a novel LLM-driven multimodal AI, namely LLMSeg, that utilizes the clinical text information and is applicable to the challenging task of target volume contouring for radiation therapy, and validate it within the context of breast cancer radiation therapy target volume contouring. Using external validation and data-insufficient environments, which attributes highly conducive to real-world applications, we demonstrate that the proposed model exhibits markedly improved performance compared to conventional unimodal AI models, particularly exhibiting robust generalization performance and data efficiency. To our best knowledge, this is the first LLM-driven multimodal AI model that integrates the clinical text information into target volume delineation for radiation oncology.
- Abstract(参考訳): 放射線治療における目標容積構成は, 画像情報とテキスト情報の両方を活用する必要があるため, 通常の臓器分割作業よりも有意に困難であると考えられる。
テキスト情報と画像の統合を容易にする大規模言語モデル(LLMs)の最近の進歩に触発されて,臨床用テキスト情報を活用し,放射線治療のための目標音量コンチューリングという課題に適応し,乳がん放射線治療対象音量コントゥーリングの文脈で検証する,新たなLLM駆動型マルチモーダルAI,すなわちLLMSegを提案する。
実世界の応用に非常に寄与する外部検証とデータ不十分な環境を用いて,提案モデルが従来の非モーダルAIモデルと比較して顕著に改善された性能を示し,特に高機能な一般化性能とデータ効率を示すことを示した。
我々の知る限り、これはLSM駆動型マルチモーダルAIモデルとしては初めてのものであり、臨床テキスト情報を放射線腫瘍学のターゲットボリュームデライン化に統合するものである。
関連論文リスト
- Eye-gaze Guided Multi-modal Alignment Framework for Radiology [60.061011664042134]
放射線医が診断評価中に同期的に収集したアイ・ゲイズデータは、胸部X線と診断用テキストを自然に結びつける。
モデルは、ゼロショット分類および検索タスクにおいて、他の最先端手法よりも優れた、堅牢な性能を示す。
論文 参考訳(メタデータ) (2024-03-19T03:59:14Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.2263444492222]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Large Model driven Radiology Report Generation with Clinical Quality
Reinforcement Learning [16.849933628738277]
放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。
本稿では,新しいRRG法である textbfLM-RRG について紹介する。
MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-11T13:47:11Z) - Less is more: Ensemble Learning for Retinal Disease Recognition Under
Limited Resources [12.119196313470887]
本稿では,限られた資源で網膜疾患を認識できる新しいアンサンブル学習機構を提案する。
このメカニズムは、複数の事前訓練されたモデルからの洞察を活用し、その知識を網膜CT画像に転送し適応させる。
論文 参考訳(メタデータ) (2024-02-15T06:58:25Z) - REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models [19.62552013839689]
既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。
本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。
MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-10T18:27:28Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - LMM-Assisted Breast Cancer Treatment Target Segmentation with Consistency Embedding [49.40059830266193]
放射線腫瘍学の分野に適した多目的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。
本モデルでは, 臨床ワークフローにおける一連のタスク, 臨床報告要約, 放射線治療計画提案, 計画指導対象ボリュームセグメンテーションを網羅する。
また, クリーン入力の処理能力を保ちながら, LMMの頑健さをノイズ入力に高める, CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - Supervised topological data analysis for MALDI mass spectrometry imaging
applications [0.0]
肺癌は腫瘍死の主要な原因であり、最も致死的な物質は腺癌(ADC)と扁平上皮癌(SqCC)である
これら2つのサブタイプを区別することは、治療決定と患者管理の成功に不可欠である。
本稿では,MALDIデータから固有情報を取得し,トポロジ的永続性を反映した新しい代数的トポロジ的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-27T16:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。