論文の概要: Dynamic Fusion-Aware Graph Convolutional Neural Network for Multimodal Emotion Recognition in Conversations
- arxiv url: http://arxiv.org/abs/2603.22345v1
- Date: Sun, 22 Mar 2026 02:43:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.083636
- Title: Dynamic Fusion-Aware Graph Convolutional Neural Network for Multimodal Emotion Recognition in Conversations
- Title（参考訳）: 対話におけるマルチモーダル感情認識のための動的融合対応グラフ畳み込みニューラルネットワーク
- Abstract要約: 本稿では,会話におけるマルチモーダル感情の特徴を頑健に認識するための動的融合対応グラフ畳み込みニューラルネットワーク(DF-GCN)を提案する。
DF-GCNは、通常の微分方程式をグラフ畳み込みネットワーク(GCN)に統合し、発話相互作用ネットワーク内の感情的依存の動的性質を捉える。
- 参考スコア（独自算出の注目度）: 38.80171097773061
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal emotion recognition in conversations (MERC) aims to identify and understand the emotions expressed by speakers during utterance interaction from multiple modalities (e.g., text, audio, images, etc.). Existing studies have shown that GCN can improve the performance of MERC by modeling dependencies between speakers. However, existing methods usually use fixed parameters to process multimodal features for different emotion types, ignoring the dynamics of fusion between different modalities, which forces the model to balance performance between multiple emotion categories, thus limiting the model's performance on some specific emotions. To this end, we propose a dynamic fusion-aware graph convolutional neural network (DF-GCN) for robust recognition of multimodal emotion features in conversations. Specifically, DF-GCN integrates ordinary differential equations into graph convolutional networks (GCNs) to {capture} the dynamic nature of emotional dependencies within utterance interaction networks and leverages the prompts generated by the global information vector (GIV) of the utterance to guide the dynamic fusion of multimodal features. This allows our model to dynamically change parameters when processing each utterance feature, so that different network parameters can be equipped for different emotion categories in the inference stage, thereby achieving more flexible emotion classification and enhancing the generalization ability of the model. Comprehensive experiments conducted on two public multimodal conversational datasets {confirm} that the proposed DF-GCN model delivers superior performance, benefiting significantly from the dynamic fusion mechanism introduced.
- Abstract（参考訳）: 会話におけるマルチモーダル感情認識(MERC)は、複数のモーダル(例えば、テキスト、音声、画像など)からの発話相互作用において話者が表現する感情を識別し、理解することを目的としている。
既存の研究では、GCNは話者間の依存関係をモデル化することでMERCの性能を向上させることが示されている。
しかしながら、既存のメソッドは通常、固定パラメータを使用して、異なる感情タイプに対するマルチモーダルな特徴を処理し、異なるモダリティ間の融合のダイナミクスを無視し、モデルに複数の感情カテゴリ間のパフォーマンスのバランスを強制し、特定の感情に対するモデルのパフォーマンスを制限する。
この目的のために,会話におけるマルチモーダル感情の特徴を頑健に認識するための動的融合対応グラフ畳み込みニューラルネットワーク(DF-GCN)を提案する。
具体的には、DF-GCNは通常の微分方程式をグラフ畳み込みネットワーク(GCN)に統合し、発話相互作用ネットワーク内の感情依存の動的性質を計算し、発話のグローバル情報ベクトル(GIV)によって生成されたプロンプトを利用してマルチモーダル特徴の動的融合を導く。
これにより、各発話特徴を処理する際にパラメータを動的に変更できるので、推論段階で異なるネットワークパラメータを異なる感情カテゴリに組み込むことで、より柔軟な感情分類を実現し、モデルの一般化能力を高めることができる。
DF-GCNモデルが提案した2つの公開マルチモーダル対話データセット {confirm} 上で実施された総合的な実験により,動的融合機構の利点を大いに生かし,優れた性能が得られることが確認された。
関連論文リスト
- Enhancing Multimodal Emotion Recognition via Multi-Feature Encoding and Attention-Based Fusion [5.740228163421595]
本稿では,新しいマルチモーダル感情認識フレームワークを提案する。
リッチなオーディオと視覚的特徴抽出と、注意に基づく融合戦略を統合している。
提案手法は, 多様な感情的手がかりを音声や視覚的表現から効果的にとらえることが示唆された。
論文 参考訳（メタデータ） (2026-09-04T03:40:16Z) - AMB-DSGDN: Adaptive Modality-Balanced Dynamic Semantic Graph Differential Network for Multimodal Emotion Recognition [35.370240758006936]
マルチモーダル対話感情認識は、テキスト、ビジュアル、オーディオのモダリティを融合することで感情的な手がかりを捉える。
既存のアプローチは、感情的依存のモデリングやマルチモーダル表現の学習において、依然として顕著な制限に悩まされている。
AMB-DSGDN(Adaptive Modality-Balanced Dynamic Semantic Graph Differential Network)を提案する。
論文 参考訳（メタデータ） (2026-03-07T11:23:23Z) - Effective Context Modeling Framework for Emotion Recognition in Conversations [2.7175580940471913]
会話における感情認識(英語: Emotion Recognition in Conversations, ERC)は、会話中の各発話における話者による感情のより深い理解を促進する。
最近のグラフニューラルネットワーク(GNN)は、データ関係をキャプチャする上で、その強みを実証している。
本稿では,会話中の文脈情報をキャプチャする新しいGNNベースのフレームワークであるConxGNNを提案する。
論文 参考訳（メタデータ） (2024-12-21T02:22:06Z) - Dynamic Graph Neural ODE Network for Multi-modal Emotion Recognition in Conversation [14.158939954453933]
会話におけるマルチモーダル感情認識のための動的グラフニューラル正規微分方程式ネットワーク(DGODE)を提案する。
提案したDGODEは、感情の動的変化を組み合わせ、話者の感情の時間的依存を捉える。
2つの一般公開されたマルチモーダル感情認識データセットの実験により、提案したDGODEモデルは、様々なベースラインと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2024-12-04T01:07:59Z) - AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。
公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
論文 参考訳（メタデータ） (2024-04-12T11:31:18Z) - AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in
Group Conversations [39.79734528362605]
マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。
AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
論文 参考訳（メタデータ） (2024-01-26T19:17:05Z) - MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。
MMoEは様々な種類のモデルに適用でき、改善できる。
論文 参考訳（メタデータ） (2023-11-16T05:31:21Z) - Revisiting Disentanglement and Fusion on Modality and Context in
Conversational Multimodal Emotion Recognition [81.2011058113579]
特徴の多様性と会話の文脈化は、特徴の絡み合いと融合の段階において、同時に適切にモデル化されるべきである。
マルチモーダル・コンテキスト統合のためのコントリビューション・アウェア・フュージョン・メカニズム(CFM)とコンテキスト・リフュージョン・メカニズム(CRM)を提案する。
我々のシステムは、新しい最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2023-08-08T18:11:27Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - Encoder Fusion Network with Co-Attention Embedding for Referring Image
Segmentation [87.01669173673288]
本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。
EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。
4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2021-05-05T02:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。