論文の概要: MissBench: Benchmarking Multimodal Affective Analysis under Imbalanced Missing Modalities

• arxiv url: http://arxiv.org/abs/2603.09874v1
• Date: Tue, 10 Mar 2026 16:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.455088
• Title: MissBench: Benchmarking Multimodal Affective Analysis under Imbalanced Missing Modalities
• Title（参考訳）: ミスベンチ:不均衡モードにおけるマルチモーダル影響分析のベンチマーク
• Authors: Tien Anh Pham, Phuong-Anh Nguyen, Duc-Trong Le, Cam-Van Thi Nguyen,
• Abstract要約: マルチモーダルな感情タスクのためのベンチマークとフレームワークであるMissBenchを紹介する。 MissBenchは、共有および非バランスの欠落率プロトコルを標準化する。 共有欠落率の下で頑健に見えるモデルは、依然として顕著なモダリティの不等式を示すことができることを示す。
• 参考スコア（独自算出の注目度）: 1.9650181409005112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal affective computing underpins key tasks such as sentiment analysis and emotion recognition. Standard evaluations, however, often assume that textual, acoustic, and visual modalities are equally available. In real applications, some modalities are systematically more fragile or expensive, creating imbalanced missing rates and training biases that task-level metrics alone do not reveal. We introduce MissBench, a benchmark and framework for multimodal affective tasks that standardizes both shared and imbalanced missing-rate protocols on four widely used sentiment and emotion datasets. MissBench also defines two diagnostic metrics. The Modality Equity Index (MEI) measures how fairly different modalities contribute across missing-modality configurations. The Modality Learning Index (MLI) quantifies optimization imbalance by comparing modality-specific gradient norms during training, aggregated across modality-related modules. Experiments on representative method families show that models that appear robust under shared missing rates can still exhibit marked modality inequity and optimization imbalance under imbalanced conditions. These findings position MissBench, together with MEI and MLI, as practical tools for stress-testing and analyzing multimodal affective models in realistic incomplete-modality settings.For reproducibility, we release our code at: https://anonymous.4open.science/r/MissBench-4098/
• Abstract（参考訳）: マルチモーダルな感情コンピューティングは、感情分析や感情認識といった重要なタスクを支えている。 しかし、標準的な評価では、テキスト、アコースティック、ヴィジュアルのモダリティが等しく利用できると仮定されることが多い。 実際のアプリケーションでは、いくつかのモダリティは体系的に脆弱あるいは高価で、不均衡な欠落率と、タスクレベルのメトリクスだけでは明らかでないトレーニングバイアスを生み出します。 MissBenchは、広く使われている4つの感情および感情データセット上で共有および不均衡な欠落率プロトコルを標準化するマルチモーダル感情タスクのためのベンチマークおよびフレームワークである。 MissBenchは2つの診断基準も定義している。 Modality Equity Index(MEI)は、欠落したモダリティ構成に対して、かなり異なるモダリティがどのように貢献するかを測定する。 モダリティ学習指標(MLI)は、モダリティ関連モジュール間で集約されたトレーニング中のモダリティ固有の勾配ノルムを比較することで、最適化の不均衡を定量化する。 代表的メソッドファミリーの実験では、共有欠落率の下で頑健に見えるモデルは、不均衡な条件下でも顕著なモダリティの不等式と最適化の不均衡を示すことが示されている。 これらの結果から,MissBench は MEI や MLI とともに,現実的な不完全モダリティ設定におけるマルチモーダル感情モデルのストレステストと解析の実践的ツールとして位置づけられ,再現性のため, https://anonymous.4open.science/r/MissBench-4098/ でコードを公開している。

関連論文リスト

• Dynamic Modality Scheduling for Multimodal Large Models via Confidence, Uncertainty, and Semantic Consistency [0.0]
  本研究では,各モダリティの寄与をサンプル単位で適応的に調整する新しいフレームワークである動的モダリティスケジューリング(DMS)を提案する。 VQA、画像テキスト検索、キャプションタスクの実験結果から、DMSはクリーンとロバストの両方のパフォーマンスを著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-06-15T05:15:52Z)
• The Multimodal Paradox: How Added and Missing Modalities Shape Bias and Performance in Multimodal AI [0.0]
  マルチモーダル学習は、高い意思決定において、単調な学習よりも優れていることが証明されている。 パフォーマンス向上は、マルチモーダルシステムを評価するためのゴールドスタンダードのままだが、バイアスやロバスト性に関する懸念はしばしば見過ごされている。
  論文  参考訳（メタデータ） (2025-05-05T20:42:44Z)
• Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
  マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。 顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。 Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-24T08:46:52Z)
• BalanceBenchmark: A Survey for Multimodal Imbalance Learning [9.858467766666223]
  マルチモーダル学習は、異なるモーダルからの情報を統合する能力に注目されている。 これは、あるモダリティが支配的であり、他のモダリティが未利用のままであるマルチモーダル不均衡問題によってしばしば妨げられる。 我々は,主要な多モード不均衡アルゴリズムを,不均衡を緩和するための戦略に基づいて4つのグループに体系的に分類する。
  論文  参考訳（メタデータ） (2025-02-15T14:42:42Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。