論文の概要: When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2609.10261v1
- Date: Wed, 09 Sep 2026 14:46:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.067948
- Title: When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
- Title(参考訳): 核融合が失敗した場合: マルチモーダルな医用画像分割のための再平衡核融合
- Abstract要約: 腐敗」とは、主に、不一致や完全なモダリティの欠如というよりも、解決によって引き起こされる劣化を指す。
CoReFuse-Medは, 機能伝達時の破損を抑制し, モダリティの寄与を再均衡させる, 崩壊対応リバランス・フュージョン・フレームワークである。
- 参考スコア(独自算出の注目度): 15.371804296732376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal medical image segmentation leverages complementary diagnostic information, yet fusion can underperform single-modality baselines when spatially aligned inputs differ in quality. Here, "corruption" primarily denotes resolution-induced degradation rather than misalignment or complete modality absence, while synthetic noise is evaluated only as an auxiliary setting. We identify a critical optimization-inference inconsistency: degraded modalities can receive weak training updates yet substantially affect predictions, indicating active interference with fusion. We attribute this failure to resampling-induced feature corruption and optimization bias, where noisy features propagate through skip connections and encourage unreliable modality selection. We therefore propose CoReFuse-Med, a Corruption-aware Rebalanced Fusion framework that suppresses corruption during feature transmission and rebalances modality contributions during high-level fusion. Experiments on EPVS, BraTS, and WMH, including multiple Z-axis slice-retention ratios and an auxiliary noise test, demonstrate improved accuracy and robustness under modality-quality discrepancies. Our code is available at https://github.com/lrever/CoReFuse.
- Abstract(参考訳): マルチモーダルな医用画像分割は相補的な診断情報を活用するが、空間的に整合した入力が品質が異なる場合、融合は単一モダリティベースラインを過小評価することができる。
ここでは、「崩壊」とは、主に、不整合や完全なモダリティの欠如よりも、分解による劣化を意味するが、合成ノイズは補助的な設定としてのみ評価される。
劣化したモダリティは、弱いトレーニング更新を受けられるが、予測には実質的に影響し、融合によるアクティブな干渉を示す。
我々は、この障害を再サンプリングによる特徴劣化と最適化バイアスによるものとみなし、ノイズのある特徴はスキップ接続を通じて伝播し、信頼できないモダリティ選択を促進する。
そこで我々は,CoReFuse-Medを提案する。CoReFuse-Medは,機能伝達時の破壊を抑制し,高レベル核融合時のモダリティ貢献を再均衡させる,破壊対応リバランス型核融合フレームワークである。
複数のZ軸スライス保持比と補助雑音試験を含むEPVS, BraTS, WMH実験は, 品質不一致下での精度とロバスト性の向上を実証した。
私たちのコードはhttps://github.com/lrever/CoReFuse.comから入手可能です。
関連論文リスト
- Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。
サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。
マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
論文 参考訳(メタデータ) (2026-08-04T11:14:13Z) - MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis [20.73891715749963]
本稿では,多粒性ルーティングと不確実性を考慮したキャリブレーションを組み合わせた信頼性を考慮した融合手法を提案する。
MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。
論文 参考訳(メタデータ) (2026-07-12T06:32:54Z) - Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。
マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。
SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2026-06-01T15:58:13Z) - Before Fusion, Ask What to Keep: Contextual Calibration of Multimodal Signals [10.534072717524191]
マルチモーダルシステムは、言語、サウンド、ビジュアルストリーム間の情報の組み合わせの恩恵を受けることが多いが、この利点は保証されていない。
本研究では、下流予測器にマージされる前にマルチモーダル表現を調整する方法について検討する。
我々は,各モダリティを要約レベルで比較し,クロスソースサポートと競合のキューを抽出し,これらのキューをインスタンスワイドおよび次元ワイド変調信号に変換する,コンパクトなキャリブレーションモジュールを開発した。
キャリブレーションは、既に融合した表現ではなく、元のモダリティの特徴に適用され、モデルが誤解を招く成分を抑え、弱いが有用な証拠を保持し、より支持された応答を強調することができる。
論文 参考訳(メタデータ) (2026-06-01T14:20:12Z) - To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。
我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
論文 参考訳(メタデータ) (2026-05-06T13:11:33Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳(メタデータ) (2026-04-17T13:27:11Z) - Stabilizing Diffusion Posterior Sampling by Noise--Frequency Continuation [52.736416985173776]
高雑音下では、不正確な推定から計算されたデータ一貫性勾配は、後部幾何学と幾何的に一致しない。
本稿では、雑音依存周波数帯域内でのみ測定一貫性を強制する中間部分の連続的なファミリを構成するノイズ周波数継続フレームワークを提案する。
提案手法は最先端性能を実現し,強いベースライン上で最大5dBのPSNRの動作劣化を改善する。
論文 参考訳(メタデータ) (2026-01-30T03:14:01Z) - Robust Brain Tumor Segmentation with Incomplete MRI Modalities Using Hölder Divergence and Mutual Information-Enhanced Knowledge Transfer [10.66488607852885]
不完全なモダリティであっても高いセグメンテーション精度を実現する頑健な単一モード並列処理フレームワークを提案する。
モデルでは、利用可能な入力に基づいてネットワークパラメータを動的に調整しながら、モダリティ固有の特徴を維持している。
これらのばらつきと情報に基づく損失関数を用いることで、このフレームワークは予測と地味ラベルの差異を効果的に定量化する。
論文 参考訳(メタデータ) (2025-07-02T00:18:07Z) - A Study of Dropout-Induced Modality Bias on Robustness to Missing Video
Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。
ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。
本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T06:06:55Z) - FedMed-ATL: Misaligned Unpaired Brain Image Synthesis via Affine
Transform Loss [58.58979566599889]
脳画像合成のための新しい自己教師型学習(FedMed)を提案する。
アフィン変換損失(ATL)は、プライバシー法に違反することなく、ひどく歪んだ画像を使用するように定式化された。
提案手法は, 極めて不整合かつ不整合なデータ設定下での合成結果の品質の両方において, 高度な性能を示す。
論文 参考訳(メタデータ) (2022-01-29T13:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。