論文の概要: PASSION: Towards Effective Incomplete Multi-Modal Medical Image Segmentation with Imbalanced Missing Rates
- arxiv url: http://arxiv.org/abs/2407.14796v1
- Date: Sat, 20 Jul 2024 07:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 20:54:16.000646
- Title: PASSION: Towards Effective Incomplete Multi-Modal Medical Image Segmentation with Imbalanced Missing Rates
- Title（参考訳）: PASSION:不均衡欠落率を伴う効果的な不完全なマルチモーダル医用画像分割を目指して
- Authors: Junjie Shi, Caozhi Shang, Zhaobin Sun, Li Yu, Xin Yang, Zengqiang Yan,
- Abstract要約: 不均衡な欠落率下での不完全なマルチモーダル医用画像分割のためのPreference-Aware Self-diStillations (PASSION)を提案する。
PASSIONは、異なるバックボーン間で一貫したパフォーマンス改善のためのプラグイン・アンド・プレイモジュールとして機能することが検証されている。
- 参考スコア（独自算出の注目度）: 12.776885496731294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incomplete multi-modal image segmentation is a fundamental task in medical imaging to refine deployment efficiency when only partial modalities are available. However, the common practice that complete-modality data is visible during model training is far from realistic, as modalities can have imbalanced missing rates in clinical scenarios. In this paper, we, for the first time, formulate such a challenging setting and propose Preference-Aware Self-diStillatION (PASSION) for incomplete multi-modal medical image segmentation under imbalanced missing rates. Specifically, we first construct pixel-wise and semantic-wise self-distillation to balance the optimization objective of each modality. Then, we define relative preference to evaluate the dominance of each modality during training, based on which to design task-wise and gradient-wise regularization to balance the convergence rates of different modalities. Experimental results on two publicly available multi-modal datasets demonstrate the superiority of PASSION against existing approaches for modality balancing. More importantly, PASSION is validated to work as a plug-and-play module for consistent performance improvement across different backbones. Code is available at https://github.com/Jun-Jie-Shi/PASSION.
- Abstract（参考訳）: 不完全なマルチモーダル画像分割は、部分的なモダリティしか利用できない場合のデプロイメント効率を向上する医療画像の基本的なタスクである。
しかし、モデルトレーニング中に完全なモダリティデータが見えるという一般的な実践は、臨床シナリオにおいてモダリティが欠落率を不均衡にする可能性があるため、現実的ではない。
本稿では、このような困難な設定を初めて定式化し、不均衡な欠落率で不完全なマルチモーダル医療画像分割を行うために、Preference-Aware Self-diStillations (PASSION)を提案する。
具体的には、まず、各モダリティの最適化目標のバランスをとるために、ピクセルワイド、セマンティックワイドの自己蒸留を構築する。
そこで,本研究では,各モダリティの優越性を評価するための相対的嗜好を定義し,各モダリティの収束率のバランスをとるためのタスクワイドおよび勾配ワイド正規化を設計する。
公開されている2つのマルチモーダルデータセットの実験結果は、既存のモダリティバランスのためのアプローチに対するPASSIONの優位性を示している。
さらに重要なことに、PASSIONは異なるバックボーン間で一貫したパフォーマンス改善のためのプラグイン・アンド・プレイモジュールとして機能することが検証されている。
コードはhttps://github.com/Jun-Jie-Shi/PASSIONで入手できる。
関連論文リスト
- On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。
広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。
そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文 参考訳（メタデータ） (2024-10-15T13:15:50Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment [20.358300924109162]
臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。
知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。
本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-08-18T13:16:30Z) - Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。
本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。
本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
論文 参考訳（メタデータ） (2024-06-04T06:07:24Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳（メタデータ） (2023-06-25T16:55:32Z) - Enhancing Modality-Agnostic Representations via Meta-Learning for Brain
Tumor Segmentation [16.747365311040863]
そこで本研究では,メタラーニング戦略を用いてモダリティ非依存表現を学習する手法を提案する。
われわれのフレームワークは、欠落したモダリティシナリオにおいて最先端の脳腫瘍セグメンテーション技術より著しく優れている。
論文 参考訳（メタデータ） (2023-02-08T19:53:07Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。