論文の概要: LMM-Assisted Breast Cancer Treatment Target Segmentation with Consistency Embedding
- arxiv url: http://arxiv.org/abs/2311.15876v2
- Date: Thu, 21 Mar 2024 07:38:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 19:47:00.232921
- Title: LMM-Assisted Breast Cancer Treatment Target Segmentation with Consistency Embedding
- Title(参考訳): LMMによる乳がん治療 : コンシステンシー・エンベディングによるターゲットセグメンテーション
- Authors: Kwanyoung Kim, Yujin Oh, Sangjoon Park, Hwa Kyung Byun, Jin Sung Kim, Yong Bae Kim, Jong Chul Ye,
- Abstract要約: 放射線腫瘍学の分野に適した多目的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。
本モデルでは, 臨床ワークフローにおける一連のタスク, 臨床報告要約, 放射線治療計画提案, 計画指導対象ボリュームセグメンテーションを網羅する。
また, クリーン入力の処理能力を保ちながら, LMMの頑健さをノイズ入力に高める, CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
- 参考スコア(独自算出の注目度): 49.40059830266193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Artificial Intelligence (AI) have profoundly influenced medical fields, by providing tools to reduce clinical workloads. However, most AI models are constrained to execute unimodal tasks, in stark contrast to the comprehensive approaches utilized by medical professionals. To address this, here we present RO-LMM, a multi-purpose large multimodal model (LMM) tailored for the field of radiation oncology. This model covers series of tasks within clinical workflow, adept at clinical report summarization, radiation treatment plan suggestion, and plan-guided target volume segmentation. In particular, to perform consecutive clinical tasks, we further present a novel Consistency Embedding Fine-Tuning (CEFTune) technique, which boosts LMM's robustness to noisy inputs while preserving the capability of handling clean inputs, and transform this concept into LMM-driven segmentation framework as Consistency Embedding Segmentation~(CESEG). Experimental results on multi-centre cohorts demonstrate our RO-LMM's promising performance for multiple clinical tasks with generalization capabilities.
- Abstract(参考訳): 人工知能(AI)の最近の進歩は、臨床ワークロードを減らすためのツールを提供することによって、医療分野に大きな影響を与えている。
しかし、ほとんどのAIモデルは、医療専門家が利用する包括的なアプローチとは対照的に、一助的なタスクの実行に制約されている。
ここでは放射線腫瘍学の分野に適した多目的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。
本モデルでは, 臨床ワークフローにおける一連のタスク, 臨床報告要約, 放射線治療計画提案, 計画指導対象ボリュームセグメンテーションを網羅する。
特に, 連続的な臨床業務を行うために, 新規なCEFTune(Consistency Embedding Fine-Tuning)技術を提案する。これは, クリーン入力の処理能力を保ちながら, LMMの頑健さをノイズ入力に高め, この概念を一貫性埋め込みセグメンテーション(CESEG)としてLMM駆動セグメンテーションフレームワークに変換する。
多心性コホートを用いた実験結果から, RO-LMM が複数の臨床課題に対して有望であることを示す。
関連論文リスト
- Adaptive Collaboration Strategy for LLMs in Medical Decision Making [40.979954284814895]
医療意思決定エージェント(MDAgents, Medical Decision-making Agents, MDAgents)は, LLMの効果的な協調構造を自動的に割り当てることによって, このギャップに対処することを目的としている。
割り当てられた単独またはグループの共同作業構造は、実際の医療決定過程をエミュレートして、手前の医療作業の複雑さに合わせて調整される。
MDAgentsは、マルチモーダル医療推論の理解を必要とする7つのベンチマークのうち5つで最高のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-04-22T06:30:05Z) - Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic
Segmentation [49.916468280857885]
Mask-Enhanced SAM (M-SAM) は3次元腫瘍病変の分節に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question
Answering and Clinical Reasoning [14.366349078707263]
RJUA-MedDQAは医学専門分野における総合的なベンチマークである。
本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
論文 参考訳(メタデータ) (2024-02-19T06:57:02Z) - AI Hospital: Interactive Evaluation and Collaboration of LLMs as Intern
Doctors for Clinical Diagnosis [72.50974375416239]
リアルタイムのインタラクティブな診断環境を構築するために設計されたフレームワークであるAI Hospitalを紹介する。
様々な大規模言語モデル(LLM)は、対話的診断のためのインターン医師として機能する。
我々は,医療部長の監督の下で,反復的な議論と紛争解決プロセスを含む協調的なメカニズムを導入する。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models [19.62552013839689]
既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。
本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。
MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-10T18:27:28Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - LLM-driven Multimodal Target Volume Contouring in Radiation Oncology [46.23891509553877]
大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。
LLM駆動型マルチモーダルAI,すなわちLLMSegを提案する。
提案モデルでは,従来のユニモーダルAIモデルと比較して,性能が著しく向上していることが実証された。
論文 参考訳(メタデータ) (2023-11-03T13:38:42Z) - MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications [60.218266928939606]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-21T17:18:09Z) - Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain [10.406800130623926]
臨床応用のような新しい領域に事前訓練された言語モデルを適用するには、伝統的にパラメータの集合全体をトレーニングする必要がある。
オープンソースのLLaMAモデル上に構築されたPEFTアダプタ層である臨床用LLaMA-LoRAを提案する。
本稿では,2段階のPEFTフレームワークを提案する。このフレームワークは,下流のタスクに特化しているもう1つのPEFTアダプタであるLLaMA-LoRAと臨床LLaMA-LoRAを融合させる。
論文 参考訳(メタデータ) (2023-07-06T15:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。