論文の概要: LLM-driven Multimodal Target Volume Contouring in Radiation Oncology
- arxiv url: http://arxiv.org/abs/2311.01908v2
- Date: Mon, 27 Nov 2023 15:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 13:17:39.175841
- Title: LLM-driven Multimodal Target Volume Contouring in Radiation Oncology
- Title(参考訳): 放射線オンコロジーにおけるLLM駆動マルチモーダルターゲットボリューム構成
- Authors: Yujin Oh, Sangjoon Park, Hwa Kyung Byun, Jin Sung Kim, Jong Chul Ye
- Abstract要約: 大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。
LLM駆動型マルチモーダルAIを,放射線治療における目標音量調整の課題に適用する。
提案モデルでは,従来の視覚のみのAIモデルと比較して,性能が著しく向上していることを示す。
- 参考スコア(独自算出の注目度): 55.20049911531224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Target volume contouring for radiation therapy is considered significantly
more challenging than the normal organ segmentation tasks as it necessitates
the utilization of both image and text-based clinical information. Inspired by
the recent advancement of large language models (LLMs) that can facilitate the
integration of the textural information and images, here we present a novel
LLM-driven multi-modal AI that utilizes the clinical text information and is
applicable to the challenging task of target volume contouring for radiation
therapy, and validate it within the context of breast cancer radiation therapy
target volume contouring. Using external validation and data-insufficient
environments, which attributes highly conducive to real-world applications, we
demonstrate that the proposed model exhibits markedly improved performance
compared to conventional vision-only AI models, particularly exhibiting robust
generalization performance and data-efficiency. To our best knowledge, this is
the first LLM-driven multimodal AI model that integrates the clinical text
information into target volume delineation for radiation oncology.
- Abstract(参考訳): 放射線治療のためのターゲットボリュームは,画像とテキストに基づく臨床情報の両方を活用する必要があるため,通常の臓器分割作業よりもかなり困難であると考えられる。
テキスト情報と画像の統合を容易にする大規模言語モデル(LLMs)の最近の進歩に触発されて,臨床テキスト情報を活用し,放射線治療のための目標音量コンチューリングの課題に適応し,乳がん放射線治療対象音量コントゥーリングの文脈で検証できる,新たなLLM駆動型マルチモーダルAIを提案する。
実世界の応用に非常に寄与する外部検証とデータ不足環境を用いて、提案モデルが従来の視覚のみのAIモデルと比較して著しく改善された性能を示し、特に堅牢な一般化性能とデータ効率を示すことを示した。
我々の知る限り、これはLSM駆動型マルチモーダルAIモデルとしては初めてのものであり、臨床テキスト情報を放射線腫瘍学のターゲットボリュームデライン化に統合する。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Large Model driven Radiology Report Generation with Clinical Quality
Reinforcement Learning [16.849933628738277]
放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。
本稿では,新しいRRG法である textbfLM-RRG について紹介する。
MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-11T13:47:11Z) - Less is more: Ensemble Learning for Retinal Disease Recognition Under
Limited Resources [12.119196313470887]
本稿では,限られた資源で網膜疾患を認識できる新しいアンサンブル学習機構を提案する。
このメカニズムは、複数の事前訓練されたモデルからの洞察を活用し、その知識を網膜CT画像に転送し適応させる。
論文 参考訳(メタデータ) (2024-02-15T06:58:25Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - RO-LLaMA: Generalist LLM for Radiation Oncology via Noise Augmentation
and Consistency Regularization [51.877826904868975]
放射線腫瘍学の分野に適した汎用汎用大言語モデル(LLM)であるRO-LLaMAを提案する。
このモデルは、臨床報告の要約などの様々なタスクに適応し、放射線腫瘍専門医の幅広いワークフローをシームレスにカバーする。
また,新しいCEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳(メタデータ) (2023-11-18T14:37:53Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳(メタデータ) (2023-09-01T22:08:32Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。
本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
論文 参考訳(メタデータ) (2022-04-28T02:32:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。