論文の概要: PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2404.13704v1
• Date: Sun, 21 Apr 2024 16:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 17:52:05.968848
• Title: PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation
• Title（参考訳）: PEMMA: 医用画像分割のためのパラメータ効率の良い多モード適応
• Authors: Nada Saadi, Numan Saeed, Mohammad Yaqub, Karthik Nandakumar,
• Abstract要約: CTとPETの両方のスキャンが利用可能であれば、それらをセグメンテーションモデルへの入力の2つのチャネルとして組み合わせることが一般的である。 この方法は、トレーニングと推論の両方のスキャンタイプを必要とし、PETスキャンの可用性が制限されているため、課題を提起する。 変圧器を用いたセグメンテーションモデルの軽量アップグレードのためのパラメータ効率・マルチモーダル適応フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.056996354878645
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Imaging modalities such as Computed Tomography (CT) and Positron Emission Tomography (PET) are key in cancer detection, inspiring Deep Neural Networks (DNN) models that merge these scans for tumor segmentation. When both CT and PET scans are available, it is common to combine them as two channels of the input to the segmentation model. However, this method requires both scan types during training and inference, posing a challenge due to the limited availability of PET scans, thereby sometimes limiting the process to CT scans only. Hence, there is a need to develop a flexible DNN architecture that can be trained/updated using only CT scans but can effectively utilize PET scans when they become available. In this work, we propose a parameter-efficient multi-modal adaptation (PEMMA) framework for lightweight upgrading of a transformer-based segmentation model trained only on CT scans to also incorporate PET scans. The benefits of the proposed approach are two-fold. Firstly, we leverage the inherent modularity of the transformer architecture and perform low-rank adaptation (LoRA) of the attention weights to achieve parameter-efficient adaptation. Secondly, since the PEMMA framework attempts to minimize cross modal entanglement, it is possible to subsequently update the combined model using only one modality, without causing catastrophic forgetting of the other modality. Our proposed method achieves comparable results with the performance of early fusion techniques with just 8% of the trainable parameters, especially with a remarkable +28% improvement on the average dice score on PET scans when trained on a single modality.
• Abstract（参考訳）: Computed Tomography (CT) や Positron Emission Tomography (PET) などの画像モダリティは、がん検出において重要な要素であり、これらのスキャンを腫瘍セグメンテーションにマージするDeep Neural Networks (DNN) モデルに刺激を与える。 CTとPETの両方のスキャンが利用可能であれば、それらをセグメンテーションモデルへの入力の2つのチャネルとして組み合わせることが一般的である。 しかし、この方法はトレーニングと推論の両方のスキャンタイプを必要とするため、PETスキャンが限られたため、時にはCTスキャンのみに制限される。 したがって、CTスキャンのみで訓練・更新できるフレキシブルなDNNアーキテクチャを開発する必要があるが、PETスキャンが利用可能になった時に効果的に利用することができる。 本研究では,CTスキャンのみを用いてトレーニングされたトランスフォーマーベースセグメンテーションモデルの軽量アップグレードのためのパラメータ効率・マルチモーダル適応(PEMMA)フレームワークを提案する。 提案手法の利点は2つある。 まず、トランスアーキテクチャの固有のモジュラリティを活用し、注目重みのローランク適応(LoRA)を行い、パラメータ効率のよい適応を実現する。 第二に、PEMMAフレームワークは、クロスモーダルの絡み合いを最小化しようとするため、その後、1つのモーダルのみを用いて、他のモーダルを破滅的に忘れることなく、組み合わせたモデルを更新することができる。 提案手法は, トレーニング可能なパラメータのわずか8%で早期融合法の性能を比較検討し, 特にPETスキャンにおける平均ダイススコアが28%向上した。

関連論文リスト

• Parameter Efficient Fine Tuning for Multi-scanner PET to PET Reconstruction [3.74142789780782]
  潜在能力に感銘を受ける。 PEFT (Efficient Fine-Tuning, PEFT) は, PEFTを有効活用して限られたデータを改善することを目的としている。 本稿ではPETITEについて紹介する。 MultI-Scanner PET と PET Reconstruction の効率的なファインチューニングは、パラメータの1%未満を使用する。
  論文  参考訳（メタデータ） (2024-07-10T10:12:26Z)
• Revolutionizing Disease Diagnosis with simultaneous functional PET/MR and Deeply Integrated Brain Metabolic, Hemodynamic, and Perfusion Networks [40.986069119392944]
  マルチモーダルなMiXture-of-expertsアライメント再構成とモデルであるMX-ARMを提案する。 モダリティは分離可能で交換可能であり、異なる多層パーセプトロン(「専門家の混合」)を学習可能な重みを通して動的に割り当て、異なるモダリティからそれぞれの表現を学ぶ。
  論文  参考訳（メタデータ） (2024-03-29T08:47:49Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction [62.29541106695824]
  本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。 計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。 2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
  論文  参考訳（メタデータ） (2023-08-20T04:10:36Z)
• 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
  医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
  論文  参考訳（メタデータ） (2023-06-23T12:09:52Z)
• SwinCross: Cross-modal Swin Transformer for Head-and-Neck Tumor Segmentation in PET/CT Images [6.936329289469511]
  クロスモーダルアテンション(CMA)モジュールを備えたクロスモーダルスウィントランス (SwinCross) は、複数の解像度でクロスモーダル特徴抽出を組み込んだ。 提案手法は, 最先端の変圧器を用いた手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-08T03:36:57Z)
• Spatiotemporal Feature Learning Based on Two-Step LSTM and Transformer for CT Scans [2.3682456328966115]
  我々は、新型コロナウイルスの症状分類を徹底的に行うための、新しい、効果的、2段階のアプローチを提案する。 まず,従来のバックボーンネットワークにより,CTスキャンにおける各スライスの意味的特徴埋め込みを抽出する。 そこで我々は,時間的特徴学習を扱うために,LSTMとTransformerベースのサブネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:59:05Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung Tumor Segmentation [11.622615048002567]
  マルチモーダル空間アテンションモジュール(MSAM)は腫瘍に関連する領域を強調することを学ぶ。 MSAMは一般的なバックボーンアーキテクチャやトレーニングされたエンドツーエンドに適用できる。
  論文  参考訳（メタデータ） (2020-07-29T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。