論文の概要: Bimodal Connection Attention Fusion for Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2503.05858v2
• Date: Wed, 12 Mar 2025 19:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 12:09:26.253760
• Title: Bimodal Connection Attention Fusion for Speech Emotion Recognition
• Title（参考訳）: バイモーダル接続注意融合による音声感情認識
• Authors: Jiachen Luo, Huy Phan, Lin Wang, Joshua D. Reiss,
• Abstract要約: 効果的なバイモーダル音声感情認識システムを構築するために,バイモーダル接続注意融合法(BCAF)を提案する。 BCAFには、対話型接続ネットワーク、バイモーダルアテンションネットワーク、相関アテンションネットワークの3つの主要なモジュールが含まれている。 MELDとIEMOCAPデータセットの実験は、提案されたBCAFメソッドが既存の最先端ベースラインより優れていることを示した。
• 参考スコア（独自算出の注目度）: 17.5756663655978
• License:
• Abstract: Multi-modal emotion recognition is challenging due to the difficulty of extracting features that capture subtle emotional differences. Understanding multi-modal interactions and connections is key to building effective bimodal speech emotion recognition systems. In this work, we propose Bimodal Connection Attention Fusion (BCAF) method, which includes three main modules: the interactive connection network, the bimodal attention network, and the correlative attention network. The interactive connection network uses an encoder-decoder architecture to model modality connections between audio and text while leveraging modality-specific features. The bimodal attention network enhances semantic complementation and exploits intra- and inter-modal interactions. The correlative attention network reduces cross-modal noise and captures correlations between audio and text. Experiments on the MELD and IEMOCAP datasets demonstrate that the proposed BCAF method outperforms existing state-of-the-art baselines.
• Abstract（参考訳）: マルチモーダルな感情認識は、微妙な感情差を捉える特徴の抽出が困難であるため、困難である。 多モーダル相互作用と接続を理解することは、効果的なバイモーダル音声感情認識システムを構築する上で鍵となる。 本研究では,対話型接続ネットワーク,バイモーダルアテンションネットワーク,相関アテンションネットワークの3つの主要モジュールを含むBCAF法を提案する。 インタラクティブ接続ネットワークは、エンコーダ・デコーダアーキテクチャを使用して、モーダリティ固有の特徴を活用しながら、音声とテキスト間のモーダリティ接続をモデル化する。 バイモーダルアテンションネットワークはセマンティック補完を強化し、モーダル内およびモーダル間相互作用を利用する。 相関アテンションネットワークは、クロスモーダルノイズを低減し、音声とテキスト間の相関をキャプチャする。 MELDとIEMOCAPデータセットの実験は、提案されたBCAFメソッドが既存の最先端ベースラインより優れていることを示した。

関連論文リスト

• Enhancing Emotion Recognition in Conversation through Emotional Cross-Modal Fusion and Inter-class Contrastive Learning [40.101313334772016]
  会話における感情認識の目的は、文脈情報に基づいて発話の感情カテゴリーを特定することである。 従来のERC法は、クロスモーダル核融合のための単純な接続に依存していた。 本稿では,ベクトル接続に基づくモーダル融合感情予測ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T07:22:30Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition [14.639340916340801]
  マルチモーダル感情認識 (AR-IIGCN) 法に対して, モーダル内およびモーダル間グラフコントラストを用いた新しい適応表現を提案する。 まず、ビデオ、オーディオ、テキストの特徴を多層パーセプトロン(MLP)に入力し、それらを別々の特徴空間にマッピングする。 第2に,逆表現による3つのモーダル特徴に対するジェネレータと判別器を構築する。 第3に、モーダル内およびモーダル間相補的意味情報を取得するために、コントラッシブグラフ表現学習を導入する。
  論文  参考訳（メタデータ） (2023-12-28T01:57:26Z)
• Conversation Understanding using Relational Temporal Graph Neural Networks with Auxiliary Cross-Modality Interaction [2.1261712640167856]
  感情認識は人間の会話理解にとって重要な課題である。 我々は,CORECT(Cross-Modality Interaction)を用いた入力時間グラフニューラルネットワークを提案する。 CORECTは会話レベルの対話と発話レベルの時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-08T07:46:25Z)
• Knowledge-Enhanced Hierarchical Information Correlation Learning for Multi-Modal Rumor Detection [82.94413676131545]
  マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。 KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。 画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
  論文  参考訳（メタデータ） (2023-06-28T06:08:20Z)
• HCAM -- Hierarchical Cross Attention Model for Multi-modal Emotion Recognition [41.837538440839815]
  マルチモーダル感情認識のための階層的クロスアテンションモデル(HCAM)を提案する。 モデルへの入力は、学習可能なwav2vecアプローチによって処理される2つのモーダルデータと、変換器(BERT)モデルからの双方向エンコーダ表現を用いて表現されるテキストデータからなる。 文脈知識と2つのモードにまたがる情報を組み込むため、音声とテキストの埋め込みはコアテンション層を用いて結合される。
  論文  参考訳（メタデータ） (2023-04-14T03:25:00Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation [87.01669173673288]
  本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。 EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。 4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-05T02:27:25Z)
• Context-Aware Interaction Network for Question Matching [51.76812857301819]
  本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。 具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
  論文  参考訳（メタデータ） (2021-04-17T05:03:56Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。