論文の概要: Text-Anchored Modality Experts with Uncertainty-Guided Routing for Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2610.27571v2
- Date: Wed, 21 Oct 2026 02:07:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.087027
- Title: Text-Anchored Modality Experts with Uncertainty-Guided Routing for Multimodal Sentiment Analysis
- Title（参考訳）: マルチモーダル感性分析のための不確かさ誘導ルーティングを用いたテキストアンコレート・モダリティエキスパート
- Abstract要約: マルチモーダル感情分析は、複数のモダリティを統合することで、ユーザ生成ビデオを理解することを目的としている。
我々は,不確実性誘導型ルーティング(TAME)を用いたテキスト・アンコレート・モダリティ・エキスパートを提案し,不確実性誘導型改良パラダイムとしてMSAを再構成する。
TAMEは、ほとんどのメトリクスで最先端のパフォーマンスを実現し、パラメータカウントを78.7%、FLOPを41.2%削減した。
- 参考スコア（独自算出の注目度）: 37.98270103272105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal sentiment analysis (MSA) aims to understand user-generated videos by integrating multiple modalities. Existing methods often treat modalities as symmetric, overlooking the fact that language provides a dominant semantic prior while nonverbal signals are complementary and noise-prone. To address this, we propose a Text-Anchored Modality Experts with Uncertainty-Guided Routing, termed TAME, that reformulates MSA as an uncertainty-guided refinement paradigm, where the language prior is calibrated and enhanced by selectively trusted nonverbal evidence. Specifically, TAME adopts an asymmetric Mixture-of-Modality-Experts framework, in which textual features act as a fixed and always-activated shared expert, while audio-textual and video-textual cross-modal branches serve as dynamically routed auxiliary experts. Furthermore, we introduce lightweight Prophet Heads to quantify the sample-level predictive uncertainty of each individual modality, and this uncertainty metric is further incorporated into the modality router to realize reliability-aware expert aggregation and fusion. Experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS datasets demonstrate that TAME achieves state-of-the-art performance on the majority of metrics while reducing parameter count by up to 78.7% and FLOPs by up to 41.2% over the mixture-of-expert baseline.
- Abstract（参考訳）: マルチモーダル感情分析(MSA)は、複数のモダリティを統合することで、ユーザ生成ビデオを理解することを目的としている。
既存の手法はしばしばモダリティを対称的に扱い、非言語的な信号が相補的かつノイズを起こしやすいのに対して、言語が先行して支配的な意味を提供するという事実を見越す。
そこで本稿では,MSAを不確実性誘導改良パラダイムとして再編成するテキストアンコレート・モダリティ・エキスパート(TAME)を提案する。
具体的には、TAMEは非対称なMixture-of-Modality-Expertsフレームワークを採用し、テキスト機能は固定的で常にアクティブな共有専門家として機能し、オーディオテキストとビデオテキストのクロスモーダルブランチは動的にルーティングされた補助専門家として機能する。
さらに,各モダリティのサンプルレベルの予測不確かさを定量化するための軽量な預言頭部を導入し,この不確実性指標をモダリティルータに組み込んで信頼性に配慮したエキスパートアグリゲーションと融合を実現する。
CMU-MOSI、CMU-MOSEI、CH-SIMSデータセットの実験は、TAMEがほとんどのメトリクスで最先端のパフォーマンスを達成し、パラメータカウントを78.7%、FLOPを41.2%削減したことを示している。
関連論文リスト
- Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis [20.73891715749963]
本稿では,多粒性ルーティングと不確実性を考慮したキャリブレーションを組み合わせた信頼性を考慮した融合手法を提案する。
MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。
論文 参考訳（メタデータ） (2026-07-12T06:32:54Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳（メタデータ） (2026-04-25T14:15:05Z) - URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection [17.19666367498091]
マルチモーダルサルカズム検出(MSD)は,テキストと画像間の意味的不一致から皮肉な意図を識別することを目的としている。
本稿では,対話や融合におけるモダリティの信頼性を明示的にモデル化する統一フレームワークであるUncertainty-aware Robust Multimodal Fusion (URMF)を提案する。
URMFは、強い単調、マルチモーダル、MLLMベースのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-08T06:50:43Z) - QA-MoE: Towards a Continuous Reliability Spectrum with Quality-Aware Mixture of Experts for Robust Multimodal Sentiment Analysis [9.551550608808752]
欠如と品質劣化をひとつのフレームワークに統合するために、継続的信頼性スペクトラムを導入します。
そこで我々は,自己教師型アレタリック不確実性によってモダリティの信頼性を定量化するQA-MoEを提案する。
大規模な実験により、QA-MoEは様々な劣化シナリオで競争力や最先端のパフォーマンスを達成することが示されている。
論文 参考訳（メタデータ） (2026-04-07T11:04:23Z) - SURE: Synergistic Uncertainty-aware Reasoning for Multimodal Emotion Recognition in Conversations [15.80542007124167]
会話におけるマルチモーダル感情認識(MERC)は、ノイズに頑健であり、文脈的推論をモデル化しながら、マルチモーダル信号を統合する必要がある。
我々は、堅牢性と文脈モデリングを改善するMERCのためのSURE(Synergistic Uncertainty-aware Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-04-02T11:32:15Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Joint Learning using Mixture-of-Expert-Based Representation for Enhanced Speech Generation and Robust Emotion Recognition [54.44798086835314]
音声感情認識(SER)は感情認識音声システム構築において重要な役割を担っているが,その性能は雑音下で著しく低下する。
本稿では, フレームワイド・エキスパート・ルーティングを自己教師付き音声表現に応用した, フレキシブルMTLフレームワークSparse Mixture-of-Experts Representation Integration Technique (Sparse MERIT)を提案する。
MSP-Podcastコーパスの実験では、Sparse MERITはSERとSEの両方のタスクのベースラインモデルより一貫して優れていた。
論文 参考訳（メタデータ） (2025-09-10T10:18:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。