論文の概要: Reliability-aware Cross-sample Enhancement for Robust Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2609.30470v1
- Date: Thu, 24 Sep 2026 19:08:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.111906
- Title: Reliability-aware Cross-sample Enhancement for Robust Multimodal Sentiment Analysis
- Title(参考訳): 頑健なマルチモーダル感性分析のための信頼性を考慮したクロスサンプル強化
- Abstract要約: マルチモーダル知覚分析は、テキスト、音声、視覚などの複数のモーダルから人間の感情を推測することを目的としている。
実際には、入力はノイズやモダリティの欠如によってしばしば破損し、性能が低下する。
これらの課題に対処するために,信頼性に配慮したクロスサンプル拡張フレームワークを提案する。
RCEは、フル、ノイズ、欠落したモダリティ設定にわたって、最先端のメソッドを一貫して上回る。
- 参考スコア(独自算出の注目度): 21.98727571359869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Sentiment Analysis (MSA) aims to infer human emotions from multiple modalities such as text, audio, and vision. In practice, inputs are often corrupted by noise and missing modalities, which degrades performance. Existing methods typically address these challenges in isolation, limiting their effectiveness in realistic settings. To address this limitation, we propose a Reliability-aware Cross-sample Enhancement (RCE) framework. Specifically, RCE first introduces an adaptive variational information bottleneck to model modality-wise uncertainty and perform quality-aware information compression, thereby suppressing redundant noise in unreliable modalities. Furthermore, we design a reliability-aware cross-sample enhancement strategy that retrieves high-confidence, semantically consistent neighbors from a large candidate pool to enrich and calibrate current representations, effectively alleviating information deficiency caused by missing modalities. Building upon this, RCE integrates cross-modal interactions with a multilevel reliability-aware fusion mechanism to adaptively aggregate information across modalities and enhancement stages, leading to more robust multimodal representations. Extensive experiments demonstrate that RCE consistently outperforms state-of-the-art methods across full, noisy, and missing-modality settings.
- Abstract(参考訳): マルチモーダル知覚分析(MSA)は、テキスト、音声、視覚などの複数のモーダルから人間の感情を推測することを目的としている。
実際には、入力はノイズやモダリティの欠如によってしばしば破損し、性能が低下する。
既存の方法は通常、これらの課題を分離して対処し、現実的な環境での有効性を制限する。
この制限に対処するため,信頼性に配慮したクロスサンプル拡張(RCE)フレームワークを提案する。
具体的には、まず適応変動情報ボトルネックを導入し、モダリティワイドの不確実性をモデル化し、品質に配慮した情報圧縮を行い、信頼性の低いモダリティにおける冗長ノイズを抑制する。
さらに、信頼性に配慮したクロスサンプル強化戦略を設計し、大きな候補プールから高信頼でセマンティックに整合した隣人を検索し、電流表現を充実・校正し、モダリティの欠如による情報不足を効果的に軽減する。
これに基づいて、RCEは多レベル信頼性を意識した融合機構とクロスモーダル相互作用を統合し、モダリティと拡張段階の情報を適応的に集約し、より堅牢なマルチモーダル表現をもたらす。
大規模な実験により、RCEは完全でうるさい、欠落したモダリティ設定で最先端の手法を一貫して上回っていることが示される。
関連論文リスト
- Robust Workflow Generation via Adversarial Learning for Audio Deepfake Detection [52.7512082818639]
ROGUEは、複数の検出ツールを編成することで堅牢な検出を構築するフレームワークである。
敵対学習を通じて、ROGUEは摂動認識ツールの選択、適応実行戦略、分散シフトに対する堅牢性の改善を可能にする。
論文 参考訳(メタデータ) (2026-09-17T11:14:58Z) - QA-MoE: Towards a Continuous Reliability Spectrum with Quality-Aware Mixture of Experts for Robust Multimodal Sentiment Analysis [9.551550608808752]
欠如と品質劣化をひとつのフレームワークに統合するために、継続的信頼性スペクトラムを導入します。
そこで我々は,自己教師型アレタリック不確実性によってモダリティの信頼性を定量化するQA-MoEを提案する。
大規模な実験により、QA-MoEは様々な劣化シナリオで競争力や最先端のパフォーマンスを達成することが示されている。
論文 参考訳(メタデータ) (2026-04-07T11:04:23Z) - Progressive Representation Learning for Multimodal Sentiment Analysis with Incomplete Modalities [26.613566093134065]
マルチモーダル・センティメント・アナリティクスは、テキスト、音響、視覚的手がかりを統合することで人間の感情を推測する。
既存のアプローチでは、すべてのモダリティが完全であるのに対して、現実のアプリケーションは、ノイズやハードウェアの障害、あるいはモダリティの欠如につながるプライバシー制限にしばしば遭遇する。
我々は、不確実なモダリティ条件下でMSA用に設計されたプログレッシブ表現学習フレームワークPRLFを提案する。
論文 参考訳(メタデータ) (2026-03-10T02:45:02Z) - Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。
NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。
評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文 参考訳(メタデータ) (2026-01-12T05:43:51Z) - Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。
提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
論文 参考訳(メタデータ) (2026-01-12T03:14:12Z) - Empower Low-Altitude Economy: A Reliability-Aware Dynamic Weighting Allocation for Multi-modal UAV Beam Prediction [57.04985443535312]
低高度経済(LAE)は、都市空気移動、ロジスティクスドローン、空中センシングによって急速に拡大している。
現在の研究は、シングルシグナルからマルチモーダルコラボレーティブアプローチにシフトしている。
セマンティック・アウェアなマルチモーダルビーム予測フレームワークSaM2Bに,信頼性を考慮した動的重み付け手法を提案する。
論文 参考訳(メタデータ) (2025-12-30T16:24:34Z) - UGG-ReID: Uncertainty-Guided Graph Model for Multi-Modal Object Re-Identification [26.770271366177603]
マルチモーダルオブジェクトReID(UGG-ReID)に対する不確実性誘導グラフモデルというロバストなアプローチを提案する。
UGG-ReIDは、ノイズ干渉を緩和し、効果的なマルチモーダル融合を促進するように設計されている。
実験結果から,提案手法は全データセットに対して優れた性能を示すことがわかった。
論文 参考訳(メタデータ) (2025-07-07T03:41:08Z) - AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。
本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
論文 参考訳(メタデータ) (2025-04-06T13:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。