論文の概要: Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation
- arxiv url: http://arxiv.org/abs/2604.10702v3
- Date: Sat, 18 Apr 2026 13:05:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 13:51:31.082146
- Title: Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation
- Title（参考訳）: 頑健な多モード前立腺MRI偏位に対するアーキテクチャ非依存的モダリティ分離Gated Fusion
- Authors: Yongbo Shu, Wenzhao Xie, Shanhu Yao, Zirui Xin, Luo Lei, Kewen Chen, Aijing Luo,
- Abstract要約: 多重化前立腺MRIは、T2パラメトリック(T2W)、見かけ拡散係数(ADC)、高b値拡散強調(HBV)配列を組み合わせる。
実際には、拡散配列は、T2Wよりも、取得のばらつき、動き、アーティファクトの影響を受けることが多い。
我々は、学習ゲーティングステージの前に、個別のモダリティ固有の符号化ストリームを維持するために、Modality-Isolated Gated Fusion (MIGF)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-parametric prostate MRI combines T2-weighted (T2W), apparent diffusion coefficient (ADC), and high b-value diffusion-weighted (HBV) sequences for non-invasive detection of clinically significant prostate cancer. In practice, the diffusion sequences are more frequently subject to acquisition variability, motion, and artifacts than T2W, making robust fusion of these channels the clinically relevant requirement. We propose Modality-Isolated Gated Fusion (MIGF), an architecture-agnostic module that maintains separate modality-specific encoding streams before a learned gating stage, combined with modality dropout training to enforce compensation under incomplete inputs. We benchmark six backbones and assess MIGF-equipped models under seven missing-modality and artifact scenarios on PI-CAI (1,500 studies, fold-0 split, five seeds). MIGF improved ideal-scenario Ranking Score for UNet, nnUNet, and Mamba by 2.8%, 4.6%, and 13.4%; the best model (MIGFNet-nnUNet, gating + ModDrop, no deep supervision) achieved 0.7304 +/- 0.056. MIGF primarily improved tolerance to HBV/ADC degradation, while missing T2W remained a shared failure mode across all architectures. Mechanistic analysis shows that robustness gains arise from strict modality isolation and dropout-driven compensation rather than adaptive per-sample quality routing: the gate converged to a stable modality prior, and deep supervision was beneficial only for the largest backbone. External evaluation on Prostate158 (n=158) revealed substantial domain shift driven primarily by ADC map incompatibility across institutions; modality-isolation analysis confirmed that removing ADC improved external performance, identifying computed diffusion maps as inherently less portable than raw-acquired sequences.
- Abstract（参考訳）: 多パラメータ前立腺MRIはT2強調(T2W)、見かけ拡散係数(ADC)、高b値拡散強調(HBV)配列を併用し、臨床的に有意な前立腺癌を非侵襲的に検出する。
実際には、拡散配列はT2Wよりも取得変数、運動、アーティファクトを多く含み、これらのチャネルの堅牢な融合が臨床的に関係のある要件となっている。
我々は、学習ゲーティングステージの前に個別のモダリティ固有の符号化ストリームを保持するアーキテクチャ非依存モジュールMIGFと、不完全入力下で補償を強制するためのモダリティドロップアウトトレーニングを組み合わせることを提案する。
PI-CAIでは6つのバックボーンをベンチマークし、7つの欠落モードとアーティファクトシナリオ(1500研究、折り畳み0分割、5つのシード)でMIGF搭載モデルを評価した。
MIGFはUNet、nnUNet、Mambaの理想的なランキングスコアを2.8%、4.6%、13.4%改善した。
MIGFは主にHBV/ADC分解に対する耐性を改善したが、T2Wの欠如はすべてのアーキテクチャで共有障害モードのままであった。
メカニカル分析では、厳密なモダリティ分離とドロップアウト駆動による補償により、適応的なサンプル単位の品質ルーティングよりもロバスト性が向上することが示されており、ゲートはより早く安定なモダリティに収束し、深い監督は最大のバックボーンにのみ有用であった。
Prostate158(n=158)の外部評価では、主にADCマップの不適合性によって駆動される領域シフトが、ADCの除去により外部性能が向上し、計算された拡散マップが原取得シーケンスよりも本質的に可搬性に劣ることが確認された。
関連論文リスト
- Plug-and-Play Logit Fusion for Heterogeneous Pathology Foundation Models [28.682541563931593]
軽量で斬新なモデル融合戦略であるLogitProdを紹介する。
独立に訓練されたFMベースの予測器を固定専門家として扱い、スライドレベルの出力よりもサンプル適応型融合重みを学習する。
LogitProdは、まず20/22タスクにランク付けし、最強のシングルエキスパートに対して、全タスクの平均パフォーマンスを3%向上させる。
論文 参考訳（メタデータ） (2026-04-09T04:10:54Z) - PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。
部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。
The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文 参考訳（メタデータ） (2026-04-05T21:14:27Z) - Less is More in Semantic Space: Intrinsic Decoupling via Clifford-M for Fundus Image Classification [13.23226865033351]
フィードフォワード展開と周波数分割モジュールを疎幾何学的相互作用で置き換える軽量バックボーンであるClifford-Mを提案する。
プリトレーニングなしでは、Clifford-M は平均 AUC-ROC が 0.8142 で、平均マクロF1 が 0.5481 で、ODIR-5K は 0.85M のパラメータしか持たない。
論文 参考訳（メタデータ） (2026-03-21T13:00:05Z) - UniField: A Unified Field-Aware MRI Enhancement Framework [45.03230466428695]
methodnameは、複数のモダリティと拡張タスクを統合する統合フレームワークである。
我々は、事前学習した3D基礎モデルを利用して、総合的な3Dボリューム情報を利用する。
我々は,総合的なマルチフィールドMRIデータセットを編成し,公開する。
論文 参考訳（メタデータ） (2026-03-10T05:45:12Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - PathCo-LatticE: Pathology-Constrained Lattice-Of Experts Framework for Fully-supervised Few-Shot Cardiac MRI Segmentation [0.0]
わずかな撮影学習は、心臓MRIのセグメンテーションにおけるデータの不足を緩和する。
PathCo-LatticEは、ラベルのないデータを、病理誘導合成監視に置き換える。
論文 参考訳（メタデータ） (2025-12-10T15:59:43Z) - Improved mmFormer for Liver Fibrosis Staging via Missing-Modality Compensation [8.687370165870613]
本稿では,mmFormerアーキテクチャをベースとしたマルチモーダルMRI分類モデルを提案する。
本手法は,Real-world 医療画像の総合解析・計算テストセット(CARE 2025 Challenge)に基づいて評価する。
In-distribution vendors におけるCirrhosis Detection と Substantial Fibrosis Detection では,66.67% と74.17% の精度を示し,AUC では 71.73% と68.48% の精度を示した。
論文 参考訳（メタデータ） (2025-09-19T21:31:05Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳（メタデータ） (2025-08-08T10:01:16Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。