論文の概要: Efficient Parameter Adaptation for Multi-Modal Medical Image Segmentation and Prognosis

• arxiv url: http://arxiv.org/abs/2504.13645v1
• Date: Fri, 18 Apr 2025 11:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 15:52:37.633357
• Title: Efficient Parameter Adaptation for Multi-Modal Medical Image Segmentation and Prognosis
• Title（参考訳）: マルチモーダル・メディカル・イメージ・セグメンテーションと予後のための効率的なパラメータ適応
• Authors: Numan Saeed, Shahad Hardan, Muhammad Ridzuan, Nada Saadi, Karthik Nandakumar, Mohammad Yaqub,
• Abstract要約: 変圧器ベースセグメンテーションモデルの軽量アップグレードのためのパラメータ効率・マルチモーダル適応(PEMMA)フレームワークを提案する。 本手法は初期核融合に匹敵する性能を示すが、トレーニング可能なパラメータの8%しか持たず、単一モードで訓練した場合のPETスキャンにおけるDiceスコアが28%向上したことを示す。
• 参考スコア（独自算出の注目度）: 4.5445892770974154
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cancer detection and prognosis relies heavily on medical imaging, particularly CT and PET scans. Deep Neural Networks (DNNs) have shown promise in tumor segmentation by fusing information from these modalities. However, a critical bottleneck exists: the dependency on CT-PET data concurrently for training and inference, posing a challenge due to the limited availability of PET scans. Hence, there is a clear need for a flexible and efficient framework that can be trained with the widely available CT scans and can be still adapted for PET scans when they become available. In this work, we propose a parameter-efficient multi-modal adaptation (PEMMA) framework for lightweight upgrading of a transformer-based segmentation model trained only on CT scans such that it can be efficiently adapted for use with PET scans when they become available. This framework is further extended to perform prognosis task maintaining the same efficient cross-modal fine-tuning approach. The proposed approach is tested with two well-known segementation backbones, namely UNETR and Swin UNETR. Our approach offers two main advantages. Firstly, we leverage the inherent modularity of the transformer architecture and perform low-rank adaptation (LoRA) as well as decomposed low-rank adaptation (DoRA) of the attention weights to achieve parameter-efficient adaptation. Secondly, by minimizing cross-modal entanglement, PEMMA allows updates using only one modality without causing catastrophic forgetting in the other. Our method achieves comparable performance to early fusion, but with only 8% of the trainable parameters, and demonstrates a significant +28% Dice score improvement on PET scans when trained with a single modality. Furthermore, in prognosis, our method improves the concordance index by +10% when adapting a CT-pretrained model to include PET scans, and by +23% when adapting for both PET and EHR data.
• Abstract（参考訳）: がんの検出と予後は医療画像、特にCTとPETスキャンに大きく依存している。 Deep Neural Networks (DNN) は、これらのモダリティからの情報を融合することによって、腫瘍のセグメンテーションにおいて有望であることを示す。 しかし、トレーニングと推論を同時に行うCT-PETデータへの依存は、PETスキャンの可用性が制限されているため、課題となっている。 したがって、広く利用可能なCTスキャンでトレーニングできるフレキシブルで効率的なフレームワークの必要性は明らかであり、PETスキャンが利用可能になった時点でも適用可能である。 本研究では,CTスキャンのみで訓練されたトランスフォーマーベースセグメンテーションモデルの軽量アップグレードのためのパラメータ効率・マルチモーダル適応(PEMMA)フレームワークを提案する。 このフレームワークはさらに拡張され、同じ効率的なクロスモーダル微調整アプローチを維持するための予後タスクが実行される。 提案手法は、UNETRとSwin UNETRという2つのよく知られたセグメンテーションバックボーンでテストされている。 私たちのアプローチには2つの大きな利点があります。 まず、トランスアーキテクチャの固有のモジュラリティを活用し、低ランク適応(LoRA)を行うとともに、注目重みの分解低ランク適応(DoRA)を行い、パラメータ効率のよい適応を実現する。 第二に、クロスモーダルの絡み合いを最小化することにより、PEMMAは、一方のモードのみを使用して、もう一方のモードを破滅的に忘れることなく更新できる。 本手法は初期核融合に匹敵する性能を示すが, トレーニング可能なパラメータの8%しか持たず, 単一モードで訓練した場合, PETスキャンにおいて28%のDiceスコアが向上することを示す。 さらに, 診断では, CT-pretrained model をPETスキャンに適合させる場合, PET と EHR の両方に適応する場合に+23%, 一致率を+10%向上させる。

関連論文リスト

• Parameter Efficient Fine Tuning for Multi-scanner PET to PET Reconstruction [3.74142789780782]
  潜在能力に感銘を受ける。 PEFT (Efficient Fine-Tuning, PEFT) は, PEFTを有効活用して限られたデータを改善することを目的としている。 本稿ではPETITEについて紹介する。 MultI-Scanner PET と PET Reconstruction の効率的なファインチューニングは、パラメータの1%未満を使用する。
  論文  参考訳（メタデータ） (2024-07-10T10:12:26Z)
• Multi-modal Evidential Fusion Network for Trustworthy PET/CT Tumor Segmentation [5.839660501978193]
  臨床環境では,PET画像とCT画像の画質は著しく変化し,ネットワークによって抽出されるモダリティ情報の不確実性が生じる。 我々は,CFL(Cross-Modal Feature Learning)とMTF(Multi-Modal Trustworthy Fusion)の2つの基本段階からなる,新しいMulti-Modal Evidential Fusion Network(MEFN)を提案する。 本モデルでは, 自動セグメンテーション結果の受け入れや拒絶の判断において, セグメンテーション結果の確実な不確実性を, 放射線技師に提供することができる。
  論文  参考訳（メタデータ） (2024-06-26T13:14:24Z)
• PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation [5.056996354878645]
  CTとPETの両方のスキャンが利用可能であれば、それらをセグメンテーションモデルへの入力の2つのチャネルとして組み合わせることが一般的である。 この方法は、トレーニングと推論の両方のスキャンタイプを必要とし、PETスキャンの可用性が制限されているため、課題を提起する。 変圧器を用いたセグメンテーションモデルの軽量アップグレードのためのパラメータ効率・マルチモーダル適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-21T16:29:49Z)
• Revolutionizing Disease Diagnosis with simultaneous functional PET/MR and Deeply Integrated Brain Metabolic, Hemodynamic, and Perfusion Networks [40.986069119392944]
  マルチモーダルなMiXture-of-expertsアライメント再構成とモデルであるMX-ARMを提案する。 モダリティは分離可能で交換可能であり、異なる多層パーセプトロン(「専門家の混合」)を学習可能な重みを通して動的に割り当て、異なるモダリティからそれぞれの表現を学ぶ。
  論文  参考訳（メタデータ） (2024-03-29T08:47:49Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction [62.29541106695824]
  本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。 計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。 2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
  論文  参考訳（メタデータ） (2023-08-20T04:10:36Z)
• Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware Prostate Cancer Classification [42.75911994044675]
  前立腺MRIの非対位画像翻訳のための新しいアプローチと臨床的に重要なPCaを分類するための不確実性認識トレーニングアプローチを提案する。 提案手法では,無ペアの3.0T多パラメータ前立腺MRIを1.5Tに翻訳し,利用可能なトレーニングデータを増強する。 実験の結果,提案手法は,従来の研究に比べてAUC(Area Under ROC Curve)を20%以上改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-02T05:26:54Z)
• 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
  医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
  論文  参考訳（メタデータ） (2023-06-23T12:09:52Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Improved automated lesion segmentation in whole-body FDG/PET-CT via Test-Time Augmentation [5.206955554317389]
  腫瘍はポジトロン・エミッション・トモグラフィー(PET)とCT(CT)を用いて広範囲に定量化されている 本研究では,PET-CTによる腫瘍の分節化に対する試験時間増強の有用性について検討した。 トレーニングデータベース上でU-NetとSwin U-Netrをトレーニングし、テスト時間の増加によってセグメンテーション性能が向上したかを判断する。
  論文  参考訳（メタデータ） (2022-10-14T12:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。