論文の概要: MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2607.10599v1
• Date: Sun, 12 Jul 2026 06:32:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.47834
• Title: MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis
• Title（参考訳）: MRUF:ロバストなマルチモーダル感性解析のための不確かさを考慮した多粒性ルーティング
• Authors: Haoran Ma, Yinfeng Yu, Liejun Wang,
• Abstract要約: 本稿では,多粒性ルーティングと不確実性を考慮したキャリブレーションを組み合わせた信頼性を考慮した融合手法を提案する。 MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。
• 参考スコア（独自算出の注目度）: 20.73891715749963
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal sentiment analysis relies on language, visual, and acoustic cues, but utterance-level modality quality may vary due to occlusion, background noise, motion blur, or imperfect transcripts, causing conventional fusion to over-trust unreliable modalities. We propose MRUF, a reliability-aware fusion method that combines multi-granularity routing with uncertainty-aware calibration. MRUF summarizes sentiment-relevant representations, performs subspace- and modality-level routing, and supervises modality routing with leave-one-out error increases to estimate utterance-level modality importance. It further predicts modality-wise uncertainty and refines modality gates through inverse-variance reweighting, while modality-invariant contrastive alignment stabilizes the shared representation space. Experiments on CMU-MOSI and CMU-MOSEI under aligned and unaligned settings show consistent improvements over strong baselines, and mechanism analysis verifies that modalities with higher predicted uncertainty receive lower fusion weights.
• Abstract（参考訳）: マルチモーダル感情分析は、言語、視覚、音響の手がかりに依存するが、発話レベルのモダリティの品質は、閉塞、背景雑音、動きのぼかし、あるいは不完全な転写によって変化し、従来の融合は信頼できないモダリティを過度に信頼する。 マルチグラニュラリティルーティングと不確実性を考慮したキャリブレーションを組み合わせたMRUFを提案する。 MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。 さらに、モダリティワイドの不確実性を予測し、逆分散再重み付けによりモダリティゲートを洗練し、一方、モダリティ不変のコントラッシブアライメントは共有表現空間を安定化させる。 CMU-MOSI と CMU-MOSEI の整列および整列条件下での実験では、強いベースラインよりも一貫した改善が見られ、機構解析により、高い予測不確実性を持つモダリティが低い核融合重みを受けることが確認された。

関連論文リスト

• Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
  大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。 本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
  論文  参考訳（メタデータ） (2026-06-05T07:08:34Z)
• Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
  重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。 マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。 SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2026-06-01T15:58:13Z)
• Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
  EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。 EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。 最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
  論文  参考訳（メタデータ） (2026-04-17T13:27:11Z)
• URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection [17.19666367498091]
  マルチモーダルサルカズム検出(MSD)は,テキストと画像間の意味的不一致から皮肉な意図を識別することを目的としている。 本稿では,対話や融合におけるモダリティの信頼性を明示的にモデル化する統一フレームワークであるUncertainty-aware Robust Multimodal Fusion (URMF)を提案する。 URMFは、強い単調、マルチモーダル、MLLMベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-08T06:50:43Z)
• QA-MoE: Towards a Continuous Reliability Spectrum with Quality-Aware Mixture of Experts for Robust Multimodal Sentiment Analysis [9.551550608808752]
  欠如と品質劣化をひとつのフレームワークに統合するために、継続的信頼性スペクトラムを導入します。 そこで我々は,自己教師型アレタリック不確実性によってモダリティの信頼性を定量化するQA-MoEを提案する。 大規模な実験により、QA-MoEは様々な劣化シナリオで競争力や最先端のパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2026-04-07T11:04:23Z)
• Propagating Similarity, Mitigating Uncertainty: Similarity Propagation-enhanced Uncertainty for Multimodal Recommendation [26.819070711100206]
  マルチモーダルレコメンデーション(SPUMR)のための新しいフレームワーク「類似性-強化不確実性」を提案する。 SPUMRは、まずModality similarity GraphとCollaborative similarity Graphを構築し、不確実性を明示的にモデル化し緩和する。 3つのベンチマークデータセットの実験では、SPUMRが既存のリードメソッドよりも大幅に改善されていることが示されている。
  論文  参考訳（メタデータ） (2026-01-27T04:53:59Z)
• Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis [27.11612547025828]
  textbfAdaptive textbfGated textbfFusion textbfNetwork。 CMU-MOSIとCMU-MOSEIの実験により、AGFNは精度において強いベースラインを著しく上回り、頑健なパフォーマンスを持つ微妙な感情を効果的に識別することを示した。
  論文  参考訳（メタデータ） (2025-10-02T05:05:41Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。