論文の概要: Evaluation Before Generation: A Paradigm for Robust Multimodal Sentiment Analysis with Missing Modalities

• arxiv url: http://arxiv.org/abs/2604.05558v1
• Date: Tue, 07 Apr 2026 07:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.707252
• Title: Evaluation Before Generation: A Paradigm for Robust Multimodal Sentiment Analysis with Missing Modalities
• Title（参考訳）: 生成前の評価: 欠落したモダリティを用いたロバストなマルチモーダル感性分析のパラダイム
• Authors: Rongfei Chen, Tingting Zhang, Xiaoyu Shen, Wei Zhang,
• Abstract要約: モダリティの欠如は、マルチモーダルな感情分析において根本的な課題となる。 既存のアプローチは主に、素早い学習と事前訓練されたモデルを通じて堅牢性を改善する。 Promptベースのミスモダリティ適応フレームワークがこれらの問題に対処するために提案されている。
• 参考スコア（独自算出の注目度）: 21.767502810187477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The missing modality problem poses a fundamental challenge in multimodal sentiment analysis, significantly degrading model accuracy and generalization in real world scenarios. Existing approaches primarily improve robustness through prompt learning and pre trained models. However, two limitations remain. First, the necessity of generating missing modalities lacks rigorous evaluation. Second, the structural dependencies among multimodal prompts and their global coherence are insufficiently explored. To address these issues, a Prompt based Missing Modality Adaptation framework is proposed. A Missing Modality Evaluator is introduced at the input stage to dynamically assess the importance of missing modalities using pretrained models and pseudo labels, thereby avoiding low quality data imputation. Building on this, a Modality invariant Prompt Disentanglement module decomposes shared prompts into modality specific private prompts to capture intrinsic local correlations and improve representation quality. In addition, a Dynamic Prompt Weighting module computes mutual information based weights from cross attention outputs to adaptively suppress interference from missing modalities. To enhance global consistency, a Multi level Prompt Dynamic Connection module integrates shared prompts with self attention outputs through residual connections, leveraging global prompt priors to strengthen key guidance features. Extensive experiments on three public benchmarks, including CMU MOSI, CMU MOSEI, and CH SIMS, demonstrate that the proposed framework achieves state of the art performance and stable results under diverse missing modality settings. The implementation is available at https://github.com/rongfei-chen/ProMMA
• Abstract（参考訳）: モダリティの欠如は、マルチモーダルな感情分析において根本的な課題となり、現実のシナリオにおけるモデルの精度と一般化を著しく低下させる。 既存のアプローチは主に、素早い学習と事前訓練されたモデルを通じて堅牢性を改善する。 しかし、2つの制限が残っている。 第一に、欠落したモダリティを生成する必要性は厳格な評価を欠いている。 第二に、マルチモーダルプロンプトとそれらの大域的コヒーレンスの間の構造的依存関係は不十分である。 これらの問題に対処するため、Pmptベースのミス・モダリティ適応フレームワークが提案されている。 入力段階で欠落モード評価器を導入し、事前訓練されたモデルと擬似ラベルを用いて欠落モードの重要性を動的に評価し、低品質なデータ計算を避ける。 これに基づいて、Modality不変なPrompt Disentanglementモジュールは、共有プロンプトをモダリティ固有のプライベートプロンプトに分解し、固有の局所相関をキャプチャし、表現品質を改善する。 さらに、動的プロンプト重みモジュールは、クロスアテンション出力から相互情報に基づく重みを演算し、欠落したモダリティからの干渉を適応的に抑制する。 グローバルな一貫性を高めるため、Multilevel Prompt Dynamic Connectionモジュールは、キーガイダンス機能を強化するためにグローバルなプロンプトプリミティブを活用することで、残コネクションを介して自己注意出力と共有プロンプトを統合する。 CMU MOSI、CMU MOSEI、CH SIMSを含む3つの公開ベンチマークの大規模な実験により、提案フレームワークは、多種多様なモダリティ設定の下で、最先端の性能と安定した結果を達成することを示した。 実装はhttps://github.com/rongfei-chen/ProMMAで公開されている。

関連論文リスト

• Plug, Play, and Fortify: A Low-Cost Module for Robust Multimodal Image Understanding Models [6.350443894942629]
  MWAM(Multimodal Weight Allocation Module)は、トレーニング中の各ブランチのコントリビューションを動的に再バランスするプラグイン・アンド・プレイコンポーネントである。 MWAMは幅広いタスクとモダリティの組み合わせで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-02-26T05:51:41Z)
• I$^3$-MRec: Invariant Learning with Information Bottleneck for Incomplete Modality Recommendation [56.55935146424585]
  textbfIncomplete textbfModality textbfRecommendation の textbfInformation ボトルネック原理を用いて学習する textbfI$3$-MRec を紹介する。 それぞれのモダリティを異なる意味環境として扱うことで、I$3$-MRecは、優先指向の表現を学習するために不変リスク最小化(IRM)を採用する。 I$3$-MRecは、様々なモダリティ欠落シナリオにおいて、既存の最先端MSSメソッドを一貫して上回る
  論文  参考訳（メタデータ） (2025-08-06T09:29:50Z)
• PAL: Prompting Analytic Learning with Missing Modality for Multi-Modal Class-Incremental Learning [42.00851701431368]
  マルチモーダルクラスインクリメンタルラーニング(MMCIL)は、音声と視覚、画像とテキストのペアのようなマルチモーダルデータを活用する。 重要な課題は、漸進的な学習フェーズにおけるモダリティの欠如である。 PALは, MMCILに適合した, モダリティの欠如を前提とした, 斬新なフレームワークである。
  論文  参考訳（メタデータ） (2025-01-16T08:04:04Z)
• Retrieval-Augmented Dynamic Prompt Tuning for Incomplete Multimodal Learning [27.867369806400834]
  本稿では,Retrieval-AuGmented Dynamic Prompt TuningフレームワークであるRAGPTを提案する。 RAGPTは、(I)マルチチャネルレトリバー、(II)モダリティ生成器、(III)コンテキスト認識プロンプトの3つのモジュールから構成される。 3つの実世界のデータセットで実施された実験によると、RAGPTは不完全なモダリティ問題に対処する際の全ての競争ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-02T07:39:48Z)
• Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Multimodal Federated Learning with Missing Modality via Prototype Mask and Contrast [23.936677199734213]
  本稿では,FedAvgベースのFederated Learningフレームワークにプロトタイプライブラリを導入する。 提案手法は,タスク校正されたトレーニング損失とモデルに依存しない一様性推論戦略を定式化するために,欠落したモダリティを表すマスクとしてプロトタイプを利用する。 ベースラインと比較して,トレーニング中に50%のモダリティが欠落し,一様性推論時に23.8%の精度で推論精度が3.7%向上した。
  論文  参考訳（メタデータ） (2023-12-21T00:55:12Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。