論文の概要: MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing

• arxiv url: http://arxiv.org/abs/2602.00811v1
• Date: Sat, 31 Jan 2026 16:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.412452
• Title: MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing
• Title（参考訳）: MissMAC-Bench:ロバストなマルチモーダル影響コンピューティングにおけるモダリティ問題に対するソリッドベンチマークの構築
• Authors: Ronghao Lin, Honghao Lu, Ruixing Wu, Aolin Xiong, Qinggong Chu, Qiaolin He, Sijie Mai, Haifeng Hu,
• Abstract要約: MissMAC-Benchは、公正で統一された評価基準を確立するために設計された総合的なベンチマークである。 2つの原則が提案されており、トレーニング中に欠席することはない。 我々のベンチマークでは、データセットとインスタンスのレベルで、固定されたパターンとランダムなパターンの両方を評価プロトコルに統合しています。
• 参考スコア（独自算出の注目度）: 21.70459049925545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a knowledge discovery task over heterogeneous data sources, current Multimodal Affective Computing (MAC) heavily rely on the completeness of multiple modalities to accurately understand human's affective state. However, in real-world scenarios, the availability of modality data is often dynamic and uncertain, leading to substantial performance fluctuations due to the distribution shifts and semantic deficiencies of the incomplete multimodal inputs. Known as the missing modality issue, this challenge poses a critical barrier to the robustness and practical deployment of MAC models. To systematically quantify this issue, we introduce MissMAC-Bench, a comprehensive benchmark designed to establish fair and unified evaluation standards from the perspective of cross-modal synergy. Two guiding principles are proposed, including no missing prior during training, and one single model capable of handling both complete and incomplete modality scenarios, thereby ensuring better generalization. Moreover, to bridge the gap between academic research and real-world applications, our benchmark integrates evaluation protocols with both fixed and random missing patterns at the dataset and instance levels. Extensive experiments conducted on 3 widely-used language models across 4 datasets validate the effectiveness of diverse MAC approaches in tackling the missing modality issue. Our benchmark provides a solid foundation for advancing robust multimodal affective computing and promotes the development of multimedia data mining.
• Abstract（参考訳）: 異種データソース上の知識発見タスクとして、現在のMultimodal Affective Computing(MAC)は、人間の感情状態を正確に理解するために、複数のモダリティの完全性に大きく依存している。 しかし、実世界のシナリオでは、モダリティデータの可用性はしばしば動的で不確実であり、不完全なマルチモーダル入力の分布シフトと意味的欠陥により、かなりの性能変動をもたらす。 モダリティの欠如として知られており、MACモデルの堅牢性と実践的展開にとって、この課題は重要な障壁となる。 この問題を体系的に定量化するために,クロスモーダル・シナジーの観点から公正で統一的な評価基準を確立するために設計された総合ベンチマークであるMissMAC-Benchを導入する。 2つの指針原則が提案され、トレーニング中に事前の欠落や、完全と不完全の両方のモダリティシナリオを扱える1つのモデルが提案され、それによってより優れた一般化が保証される。 さらに,学術研究と実世界のアプリケーションとのギャップを埋めるために,我々のベンチマークでは,データセットとインスタンスレベルにおける固定パターンとランダムパターンの両方を評価プロトコルに統合する。 4つのデータセットにまたがる3つの広く使われている言語モデルによる大規模な実験により、欠落したモダリティ問題に対処する様々なMACアプローチの有効性が検証された。 我々のベンチマークは、堅牢なマルチモーダル感情コンピューティングの基盤を提供し、マルチメディアデータマイニングの発展を促進する。

関連論文リスト

• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark [69.02666229531322]
  モダリティ不完全産業異常検出(MIIAD)の先駆的研究を紹介する。 その結果,既存のMIAD手法はMIIADベンチでは性能が悪く,性能が著しく低下していることが判明した。 本稿では,新しい2段階のロバストモードアリティファジングと検出フレームwoRk(RADAR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
  本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。 フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。 本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
  論文  参考訳（メタデータ） (2024-03-14T14:19:48Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。