論文の概要: Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations

• arxiv url: http://arxiv.org/abs/2407.00119v2
• Date: Sat, 31 Aug 2024 12:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:31:13.805542
• Title: Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations
• Title（参考訳）: 会話におけるマルチモーダル感情認識のための高能率長距離遅延グラフニューラルネットワーク
• Authors: Yuntao Shou, Wei Ai, Jiayi Du, Tao Meng, Haiyan Liu, Nan Yin,
• Abstract要約: 会話におけるマルチモーダル感情認識のための高効率長距離遅延関係認識グラフニューラルネットワーク(ELR-GNN)を提案する。 ELR-GNNはIEMOCAPとMELDのベンチマークで最先端のパフォーマンスを実現し、それぞれ実行時間を52%と35%削減した。
• 参考スコア（独自算出の注目度）: 8.107561045241445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of multi-modal emotion recognition in conversation (MERC) aims to analyze the genuine emotional state of each utterance based on the multi-modal information in the conversation, which is crucial for conversation understanding. Existing methods focus on using graph neural networks (GNN) to model conversational relationships and capture contextual latent semantic relationships. However, due to the complexity of GNN, existing methods cannot efficiently capture the potential dependencies between long-distance utterances, which limits the performance of MERC. In this paper, we propose an Efficient Long-distance Latent Relation-aware Graph Neural Network (ELR-GNN) for multi-modal emotion recognition in conversations. Specifically, we first use pre-extracted text, video and audio features as input to Bi-LSTM to capture contextual semantic information and obtain low-level utterance features. Then, we use low-level utterance features to construct a conversational emotion interaction graph. To efficiently capture the potential dependencies between long-distance utterances, we use the dilated generalized forward push algorithm to precompute the emotional propagation between global utterances and design an emotional relation-aware operator to capture the potential semantic associations between different utterances. Furthermore, we combine early fusion and adaptive late fusion mechanisms to fuse latent dependency information between speaker relationship information and context. Finally, we obtain high-level discourse features and feed them into MLP for emotion prediction. Extensive experimental results show that ELR-GNN achieves state-of-the-art performance on the benchmark datasets IEMOCAP and MELD, with running times reduced by 52\% and 35\%, respectively.
• Abstract（参考訳）: 会話におけるマルチモーダル感情認識(MERC)の課題は,会話の多モーダル情報に基づいて各発話の真の感情状態を分析することである。 既存の手法では、グラフニューラルネットワーク(GNN)を使用して会話関係をモデル化し、文脈的潜在意味関係をキャプチャする。 しかし、GNNの複雑さのため、既存の手法では長距離発話間の潜在的な依存関係を効果的に捉えられず、MERCの性能が制限される。 本稿では,会話におけるマルチモーダル感情認識のための多モーダルグラフニューラルネットワーク(ELR-GNN)を提案する。 具体的には、まず、Bio-LSTMへの入力として、事前抽出されたテキスト、ビデオ、オーディオ機能を使用し、文脈意味情報をキャプチャし、低レベル発話機能を得る。 そして,低レベル発話機能を用いて対話型感情相互作用グラフを構築する。 長距離発話間の潜在的な依存関係を効率よく把握するために,拡張一般化されたフォワードプッシュアルゴリズムを用いて,大域的発話間の感情伝播を事前計算し,異なる発話間の潜在的な意味的関連を抽出する感情的関係認識演算子を設計する。 さらに、早期融合と適応後期融合機構を組み合わせることで、話者関係情報と文脈間の潜伏依存性情報を融合する。 最後に、高レベルな談話機能を取得し、感情予測のためにMLPに供給する。 ELR-GNN はベンチマークデータセット IEMOCAP と MELD に対して,それぞれ 52 % と 35 % の動作時間を短縮し,最先端の性能を達成している。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• ESIHGNN: Event-State Interactions Infused Heterogeneous Graph Neural Network for Conversational Emotion Recognition [16.800240197327923]
  既存のグラフベースの手法は主に会話コンテキストを理解するためのイベントインタラクションに焦点を当てている。 異種グラフニューラルネットワーク(ESIHGNN)を用いたイベント-状態相互作用というグラフに基づく新しい手法を提案する。 ESIHGNNは話者の感情状態を取り入れ、会話をモデル化するための異種事象状態相互作用グラフを構築する。
  論文  参考訳（メタデータ） (2024-05-07T02:46:11Z)
• Revisiting Multimodal Emotion Recognition in Conversation from the Perspective of Graph Spectrum [13.81570624162769]
  グラフスペクトルに基づくマルチモーダル一貫性と相補的協調学習フレームワークGS-MCCを提案する。 まず、GS-MCCは、対話関係をモデル化するマルチモーダル相互作用グラフを構築するためにスライディングウィンドウを使用する。 そして、GS-MCCはコントラスト学習を用いて、相補性と一貫性のあるセマンティック・コラボレーションを反映した自己教師付き信号を構築する。
  論文  参考訳（メタデータ） (2024-04-27T10:47:07Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition [14.639340916340801]
  本稿では,多モーダル感情認識(DER-GCN)のための新しい対話・イベント関係対応グラフ畳み込みニューラルネットワークを提案する。 話者間の対話関係をモデル化し、潜在イベント関係情報をキャプチャする。 DER-GCNモデルの有効性を検証したIEMOCAPおよびMELDベンチマークデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-17T01:49:40Z)
• Conversation Understanding using Relational Temporal Graph Neural Networks with Auxiliary Cross-Modality Interaction [2.1261712640167856]
  感情認識は人間の会話理解にとって重要な課題である。 我々は,CORECT(Cross-Modality Interaction)を用いた入力時間グラフニューラルネットワークを提案する。 CORECTは会話レベルの対話と発話レベルの時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-08T07:46:25Z)
• Capturing Spectral and Long-term Contextual Information for Speech Emotion Recognition Using Deep Learning Techniques [0.0]
  本研究では,テキストデータ処理のためのグラフ畳み込みネットワーク(GCN)と,音声信号解析のためのHuBERT変換器を組み合わせたアンサンブルモデルを提案する。 GCNとHuBERTを組み合わせることで、我々のアンサンブルモデルは両方のアプローチの強みを利用することができる。 その結果, 合成モデルが従来の手法の限界を克服し, 音声からの感情認識の精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-08-04T06:20:42Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。