論文の概要: Cross-Modal Emotion Understanding: A Transformer-GAT Approach for Dialogue Emotion Recognition

• arxiv url: http://arxiv.org/abs/2609.29556v1
• Date: Wed, 02 Sep 2026 07:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.074762
• Title: Cross-Modal Emotion Understanding: A Transformer-GAT Approach for Dialogue Emotion Recognition
• Title（参考訳）: クロスモーダル感情理解:対話感情認識のためのトランスフォーマー-GATアプローチ
• Abstract要約: マルチモーダル感情認識は、感情分析、インテリジェントなカスタマーサービス、人間とコンピュータの相互作用など、感情コンピューティングにおける重要な研究領域である。 本稿では,TransformerとGraph Attention Networkを組み合わせたハイブリッドフレームワークであるTransformer-GATを提案する。
• 参考スコア（独自算出の注目度）: 2.829648291373681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal emotion recognition is a key research area in affective computing, with applications in sentiment analysis, intelligent customer service, and human-computer interaction. However, existing methods often rely on single-modal features or simple multimodal fusion, failing to capture the synergy between global and local contexts, which limits model performance and emotion understanding. To address this challenge, we propose Transformer-GAT, a hybrid framework that combines Transformer and the Graph Attention Network to enable cross-modal emotion understanding. The Transformer is used to capture global semantic information, while the Graph Attention Network is employed to model fine-grained relationships between modalities, thereby enhancing the representation of emotional features. Experiments on the IEMOCAP and MELD datasets show that our model achieves weighted F1 scores of 72.45% and 77.37%, outperforming state-of-the-art methods. These results demonstrate that Transformer-GAT effectively integrates multimodal features, balances global and local contexts, and provides deeper emotional insights, offering new directions for multimodal emotion computing.
• Abstract（参考訳）: マルチモーダル感情認識は、感情分析、インテリジェントなカスタマーサービス、人間とコンピュータの相互作用など、感情コンピューティングにおける重要な研究領域である。 しかし、既存のメソッドは単一モーダル機能や単純なマルチモーダル融合に依存し、グローバルコンテキストとローカルコンテキストの相乗効果を捉えることができず、パフォーマンスと感情理解のモデルが制限される。 この課題に対処するために,TransformerとGraph Attention Networkを組み合わせたハイブリッドフレームワークであるTransformer-GATを提案する。 Transformerはグローバルな意味情報をキャプチャするために使用され、Graph Attention Networkはモダリティ間のきめ細かい関係をモデル化し、感情的特徴の表現を強化する。 IEMOCAPとMELDデータセットの実験により、我々のモデルは72.45%と77.37%の重み付けされたF1スコアを達成し、最先端の手法を上回った。 これらの結果は、Transformer-GATがマルチモーダルな特徴を効果的に統合し、グローバルとローカルのコンテキストをバランスさせ、より深い感情的な洞察を提供し、マルチモーダルな感情コンピューティングのための新しい方向を提供することを示した。

関連論文リスト

• EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation [51.04910642896281]
  会話におけるマルチモーダル感情認識(MERC)は、対話に多モーダル情報と文脈情報を統合することで正確な予測を行う。 現在のMERCアプローチは、情動シフトにおける文脈的感情的慣性の影響を見落とし、準最適パフォーマンスをもたらす。 本研究では, 時間的ウィンドウ内に慣性の影響のあるサンプルを構築することで, コントラスト学習モジュール (EII-SCL) を提案する。
  論文  参考訳（メタデータ） (2026-07-19T18:09:54Z)
• A Cloud-Based Cross-Modal Transformer for Emotion Recognition and Adaptive Human-Computer Interaction [4.6927139685668315]
  マルチモーダル感情認識と適応型ヒューマンコンピュータインタラクションのためのクラウドベースのクロスモーダルトランスフォーマー(CMT)フレームワーク。 モデルは、事前訓練されたエンコーダを使用して、視覚信号、聴覚信号、テキスト信号を統合する。 システムは大規模ユーザインタラクションのためのスケーラブルで低レイテンシな感情認識を可能にする。
  論文  参考訳（メタデータ） (2025-11-21T17:29:16Z)
• Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier [53.55996102181836]
  本稿では,感情関係検証器 (ERV) と説明リワードを提案する。 本手法は,対象感情と明確に一致した推論をモデルに導出する。 我々のアプローチは、説明と予測の整合性を高めるだけでなく、MLLMが感情的に一貫性があり、信頼できる対話を実現するのにも役立ちます。
  論文  参考訳（メタデータ） (2025-10-27T16:40:17Z)
• MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
  マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。 4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
  論文  参考訳（メタデータ） (2025-08-03T02:50:08Z)
• Effective Context Modeling Framework for Emotion Recognition in Conversations [2.7175580940471913]
  会話における感情認識(英語: Emotion Recognition in Conversations, ERC)は、会話中の各発話における話者による感情のより深い理解を促進する。 最近のグラフニューラルネットワーク(GNN)は、データ関係をキャプチャする上で、その強みを実証している。 本稿では,会話中の文脈情報をキャプチャする新しいGNNベースのフレームワークであるConxGNNを提案する。
  論文  参考訳（メタデータ） (2024-12-21T02:22:06Z)
• GCM-Net: Graph-enhanced Cross-Modal Infusion with a Metaheuristic-Driven Network for Video Sentiment and Emotion Analysis [2.012311338995539]
  本稿では,発話からのマルチモーダルな文脈情報を活用し,メタヒューリスティックなアルゴリズムを用いて発話レベルの感情と感情予測を学習する新しい枠組みを提案する。 提案手法の有効性を示すため,我々は3つの顕著なマルチモーダル・ベンチマーク・データセットについて広範な評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T10:07:48Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation [9.817888267356716]
  会話におけるマルチモーダル感情認識(ERC)は2つの問題に直面している。 表現能力の強いモダリティに対して深部感情の手がかり抽出を行った。 特徴フィルタは、表現能力の弱いモダリティのためのマルチモーダルプロンプト情報として設計された。 MPTは、Transformerの各アテンション層にマルチモーダル融合情報を埋め込む。
  論文  参考訳（メタデータ） (2023-10-04T13:54:46Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。