論文の概要: MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment
- arxiv url: http://arxiv.org/abs/2408.09465v1
- Date: Sun, 18 Aug 2024 13:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 20:30:46.942280
- Title: MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment
- Title（参考訳）: MedMAP:アライメントを伴う不完全多モード脳腫瘍切除の促進
- Authors: Tianyi Liu, Zhaorui Tan, Muyin Chen, Xi Yang, Haochuan Jiang, Kaizhu Huang,
- Abstract要約: 臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。
知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。
本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 20.358300924109162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Brain tumor segmentation is often based on multiple magnetic resonance imaging (MRI). However, in clinical practice, certain modalities of MRI may be missing, which presents a more difficult scenario. To cope with this challenge, Knowledge Distillation, Domain Adaption, and Shared Latent Space have emerged as commonly promising strategies. However, recent efforts typically overlook the modality gaps and thus fail to learn important invariant feature representations across different modalities. Such drawback consequently leads to limited performance for missing modality models. To ameliorate these problems, pre-trained models are used in natural visual segmentation tasks to minimize the gaps. However, promising pre-trained models are often unavailable in medical image segmentation tasks. Along this line, in this paper, we propose a novel paradigm that aligns latent features of involved modalities to a well-defined distribution anchor as the substitution of the pre-trained model}. As a major contribution, we prove that our novel training paradigm ensures a tight evidence lower bound, thus theoretically certifying its effectiveness. Extensive experiments on different backbones validate that the proposed paradigm can enable invariant feature representations and produce models with narrowed modality gaps. Models with our alignment paradigm show their superior performance on both BraTS2018 and BraTS2020 datasets.
- Abstract（参考訳）: 脳腫瘍のセグメンテーションは、しばしば多重MRI(Multiple MRI)に基づいている。
しかし、臨床実践ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。
この課題に対処するため、知識蒸留、ドメイン適応、共有潜在空間が一般的な有望な戦略として登場した。
しかし、最近の試みは一般的にモダリティのギャップを見落としているため、異なるモダリティにわたる重要な不変な特徴表現を学ばない。
このような欠点により、モダリティモデルの欠如に対する性能が制限される。
これらの問題を改善するために、訓練済みのモデルは、ギャップを最小限に抑えるために、自然な視覚的セグメンテーションタスクに使用される。
しかし、有望な事前訓練されたモデルは、しばしば医療画像のセグメンテーションタスクでは利用できない。
この線に沿って、本論文では、係わるモダリティの潜在的特徴を、事前学習されたモデルの置換として明確に定義された分布アンカーに整合させる新しいパラダイムを提案する。
主要な貢献として、我々の新しい訓練パラダイムは、厳密な証拠を低く保ち、理論的にその有効性を証明していることを証明している。
異なるバックボーンに関する広範囲な実験により、提案パラダイムが不変の特徴表現を可能にし、モダリティギャップを狭めるモデルを生成することが検証された。
我々のアライメントパラダイムを持つモデルは、BraTS2018とBraTS2020データセットの両方で優れたパフォーマンスを示している。
関連論文リスト
- Mind the Gap: Promoting Missing Modality Brain Tumor Segmentation with Alignment [21.571977754383518]
多発性磁気共鳴画像(MRI)による脳腫瘍の分節
臨床ではMRIの特定のモダリティが欠如している可能性があるため、さらに困難なシナリオが提示される。
本稿では,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-09-28T14:37:42Z) - Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency [31.047259264831947]
現実の一般的な問題は、様々なスキャンプロトコルや患者の状態によって、いくつかのモダリティが利用できないことである。
従来の手法では、アクセス可能なマルチモーダルの特徴を融合させ、注意機構を活用し、欠落したモダリティを合成することで、この問題に対処しようと試みてきた。
本稿では,2つの視点から深層学習に基づく脳腫瘍セグメンテーションモデルを提案する。
論文 参考訳（メタデータ） (2024-06-14T16:54:53Z) - Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。
本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。
微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
論文 参考訳（メタデータ） (2024-06-12T20:35:16Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文 参考訳（メタデータ） (2023-03-09T14:54:30Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - ACN: Adversarial Co-training Network for Brain Tumor Segmentation with
Missing Modalities [26.394130795896704]
本稿では,この問題を解決するために,新たにACN(Adversarial Co-Training Network)を提案する。
ACNは、相互のドメインを補うために、完全なモダリティと欠落したモダリティの両方に複合的な学習プロセスを可能にする。
提案手法は, 欠落した状況下において, 全ての最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2021-06-28T11:53:11Z) - A Twin Neural Model for Uplift [59.38563723706796]
Upliftは条件付き治療効果モデリングの特定のケースです。
相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。
本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
論文 参考訳（メタデータ） (2021-05-11T16:02:39Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。