論文の概要: Relational graph-driven differential denoising and diffusion attention fusion for multimodal conversation emotion recognition

• arxiv url: http://arxiv.org/abs/2603.25752v1
• Date: Sun, 22 Mar 2026 01:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.182558
• Title: Relational graph-driven differential denoising and diffusion attention fusion for multimodal conversation emotion recognition
• Title（参考訳）: マルチモーダル会話感情認識のための関係グラフ駆動差分分解と拡散注意融合
• Authors: Ying Liu, Yuntao Shou, Wei Ai, Tao Meng, Keqin Li,
• Abstract要約: 本稿では,MCERのための関係認識・拡散注意融合モデルを提案する。 具体的には、まず2つの注意マップの差分を明示的に計算する微分変換器を設計する。 第2に、話者依存の感情的依存を捉えるために、モダリティ特化関係とクロスモダリティ関係のサブグラフを構築する。
• 参考スコア（独自算出の注目度）: 39.75096973283986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In real-world scenarios, audio and video signals are often subject to environmental noise and limited acquisition conditions, resulting in extracted features containing excessive noise. Furthermore, there is an imbalance in data quality and information carrying capacity between different modalities. These two issues together lead to information distortion and weight bias during the fusion phase, impairing overall recognition performance. Most existing methods neglect the impact of noisy modalities and rely on implicit weighting to model modality importance, thereby failing to explicitly account for the predominant contribution of the textual modality in emotion understanding. To address these issues, we propose a relation-aware denoising and diffusion attention fusion model for MCER. Specifically, we first design a differential Transformer that explicitly computes the differences between two attention maps, thereby enhancing temporally consistent information while suppressing time-irrelevant noise, which leads to effective denoising in both audio and video modalities. Second, we construct modality-specific and cross-modality relation subgraphs to capture speaker-dependent emotional dependencies, enabling fine-grained modeling of intra- and inter-modal relationships. Finally, we introduce a text-guided cross-modal diffusion mechanism that leverages self-attention to model intra-modal dependencies and adaptively diffuses audiovisual information into the textual stream, ensuring more robust and semantically aligned multimodal fusion.
• Abstract（参考訳）: 現実のシナリオでは、音声やビデオの信号は環境騒音や限られた取得条件に左右されることが多く、結果として過剰なノイズを含む特徴が抽出される。 さらに、異なるモダリティ間のデータ品質と情報伝達能力に不均衡がある。 これら2つの問題は融合フェーズにおける情報歪みと重みバイアスを引き起こし、全体的な認識性能を損なう。 既存のほとんどの手法は、ノイズのあるモダリティの影響を無視し、モダリティの重要性をモデル化するために暗黙の重み付けに頼るため、感情理解におけるテキストモダリティの圧倒的な寄与を明示的に説明できない。 これらの問題に対処するために,MCER のための関係認識・拡散注意融合モデルを提案する。 具体的には、まず2つの注意マップの差分を明示的に計算し、時間的関係のない雑音を抑えながら時間的に一貫した情報を向上させるディファレンシャルトランスフォーマーを設計する。 第2に、モーダリティ依存と相互モダリティ関係のサブグラフを構築し、話者依存の感情依存を捉え、モーダリティ内およびモーダリティ間関係のきめ細かいモデリングを可能にする。 最後に,テキスト誘導型クロスモーダル拡散機構を導入し,モーダル内依存関係をモデル化し,より堅牢でセマンティックに整合したマルチモーダル融合を実現する。

関連論文リスト

• AMB-DSGDN: Adaptive Modality-Balanced Dynamic Semantic Graph Differential Network for Multimodal Emotion Recognition [35.370240758006936]
  マルチモーダル対話感情認識は、テキスト、ビジュアル、オーディオのモダリティを融合することで感情的な手がかりを捉える。 既存のアプローチは、感情的依存のモデリングやマルチモーダル表現の学習において、依然として顕著な制限に悩まされている。 AMB-DSGDN(Adaptive Modality-Balanced Dynamic Semantic Graph Differential Network)を提案する。
  論文  参考訳（メタデータ） (2026-03-07T11:23:23Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning [23.472951216815765]
  効果的なビデオ表現の鍵は、クロスモーダルな表現学習ときめ細かい特徴識別である。 本稿では,表現モデリングにおけるモダリティ内関係とモダリティ間関係の強化について述べる。 コントラスト学習方式によるハードペアによる特徴埋め込みの識別能力を拡大する。
  論文  参考訳（メタデータ） (2022-06-21T07:29:37Z)
• Noise-Tolerant Learning for Audio-Visual Action Recognition [31.641972732424463]
  ビデオデータセットは通常、粗い注釈付きまたはインターネットから収集される。 本稿では,雑音ラベルと雑音対応の両方に対して,反干渉モデルパラメータを求めるための耐雑音性学習フレームワークを提案する。 本手法は,動作認識モデルのロバスト性を大幅に向上し,ベースラインをクリアマージンで越える。
  論文  参考訳（メタデータ） (2022-05-16T12:14:03Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。