論文の概要: MuteBench: Modality Unavailability Tolerance Evaluation for Incomplete Multimodal Fusion

• arxiv url: http://arxiv.org/abs/2605.15235v1
• Date: Wed, 13 May 2026 19:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.022401
• Title: MuteBench: Modality Unavailability Tolerance Evaluation for Incomplete Multimodal Fusion
• Title（参考訳）: MuteBench:不完全なマルチモーダル核融合に対するモダリティ不適合性評価
• Authors: Wugeng Zheng, Ziwen Kan, Tianlong Chen, Chen Chen, Song Wang,
• Abstract要約: 7つの臨床領域から9つのデータセットをカバーするベンチマークであるMuteBenchを提示する。 アーキテクチャファミリは、パラメータ数を上回る、ロバスト性の最も強い予測要因であることがわかった。 チャネルに依存しないモデルは、モダリティの欠如を許容するが、モダリティの欠如に敏感である。
• 参考スコア（独自算出の注目度）: 37.86089523035199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal physiological data powers clinical AI systems from intensive care units to wearable devices, but sensors routinely fail in practice. Two failure modes are common: modality missing, where an entire channel is absent, and within-modality missing, where a contiguous time segment is lost. No existing benchmark evaluates multiple fusion architectures under both failure modes at controlled severity levels across diverse clinical datasets. We present MuteBench, a benchmark covering 9 datasets from 7 clinical domains, 6 fusion architectures, and 2 missing-data modes over 125,000 samples. Through this benchmark, we find that architecture family is the strongest predictor of robustness, outweighing parameter count. Channel-independent models tolerate modality missing well but can be sensitive to within-modality missing, especially on short sequences. Curriculum modality dropout protects reliably only up to the maximum dropout rate used in training. We also find that channel count, sequence length, and modality alignment jointly determine which failure mode poses the greater threat. Finally, a PTB-XL case study suggests that diffusion-based imputation can improve downstream classification under within-modality missing, with the largest gains for models whose expert routing is most sensitive to corrupted inputs, though broader validation across datasets remains an open direction. MuteBench provides practitioners with concrete guidance for both selecting existing architectures and informing the design of future robust multimodal fusion methods.
• Abstract（参考訳）: マルチモーダルな生理的データは、集中治療ユニットからウェアラブルデバイスまで、臨床AIシステムを駆動するが、センサーは実際に失敗する。 2つの障害モードが一般的である: モダリティの欠如、チャネル全体が欠落、モダリティ内の欠落、連続した時間セグメントの欠落。 既存のベンチマークでは、さまざまな臨床データセットで制御された重症度レベルにおいて、両方の障害モード下で複数の融合アーキテクチャを評価するものはありません。 MuteBenchは、7つの臨床領域の9つのデータセットと6つの融合アーキテクチャ、125,000以上のサンプルの欠落データモードをカバーするベンチマークである。 このベンチマークを通じて、アーキテクチャファミリは、パラメータ数を上回る、堅牢性の最も強い予測子であることがわかった。 チャネルに依存しないモデルは、モダリティの欠如を許容するが、特に短いシーケンスにおいて、モダリティの欠如に敏感である。 カリキュラムのモダリティ・ドロップアウトは、トレーニングで使用される最大ドロップアウト率だけを確実に保護する。 また、チャネル数、シーケンス長、モダリティアライメントが、どの障害モードが大きな脅威となるかを共同で決定する。 最後に、TB-XLのケーススタディでは、拡散に基づく計算がモダリティの欠如の下で下流の分類を改善することを示唆している。 MuteBenchは、既存のアーキテクチャを選択し、将来の堅牢なマルチモーダルフュージョンメソッドの設計を伝えるための具体的なガイダンスを提供する。

関連論文リスト

• Conditional Imputation for Within-Modality Missingness in Multi-Modal Federated Learning [8.35064965629059]
  MMFL(Multimodal Federated Learning)は、プライバシー保護のための協調トレーニングを提供する。 実世界の臨床応用は、しばしば、センサーの断続性や不規則なサンプリングによって生じるモダリティの欠如に悩まされる。 本研究では,条件付き拡散モデルを用いて,この欠陥に明示的に対処するフレームワークであるCondIを提案する。
  論文  参考訳（メタデータ） (2026-04-25T02:35:08Z)
• Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation [0.0]
  多重化前立腺MRIは、T2パラメトリック(T2W)、見かけ拡散係数(ADC)、高b値拡散強調(HBV)配列を組み合わせる。 実際には、拡散配列は、T2Wよりも、取得のばらつき、動き、アーティファクトの影響を受けることが多い。 我々は、学習ゲーティングステージの前に、個別のモダリティ固有の符号化ストリームを維持するために、Modality-Isolated Gated Fusion (MIGF)を提案する。
  論文  参考訳（メタデータ） (2026-04-12T15:54:21Z)
• BMDS-Net: A Bayesian Multi-Modal Deep Supervision Network for Robust Brain Tumor Segmentation [21.538098924595754]
  BMDS-Netは,簡易な測定基準よりも臨床の堅牢性と信頼性を優先する統合フレームワークである。 まず,Zero-Init Multimodal Conmodal Fusion (MMCF)モジュールとResidual-Gated Deep Decoder Supervision (DDS)機構を統合することで,ロバストな決定論的バックボーンを構築する。 第2に,ネットワークを確率予測器に変換するメモリ効率のよいベイズ微調整戦略を導入し,ボクセル的不確実性マップを提供する。 第三に、BraTS 2021データセットに関する包括的な実験は、BMDS-Netが競争精度を維持するだけでなく、競争力も維持していることを示した。
  論文  参考訳（メタデータ） (2026-01-24T16:06:43Z)
• Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
  音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。 HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。 このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
  論文  参考訳（メタデータ） (2025-10-05T09:32:12Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data [8.536869574065195]
  Multi-Modal Mixing Transformer (3MAT)は、マルチモーダルデータを利用するだけでなく、欠落したデータシナリオも扱う病気分類変換器である。 本稿では、欠落したデータシナリオを扱うために、前例のないモダリティ独立性とロバスト性を確保するための新しいモダリティドロップアウト機構を提案する。
  論文  参考訳（メタデータ） (2022-10-01T11:31:02Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。