論文の概要: Differential Attention Unlocks Complementary EEG and Speech Fusion for Emotion Recognition

• arxiv url: http://arxiv.org/abs/2609.31399v1
• Date: Fri, 25 Sep 2026 15:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.457951
• Title: Differential Attention Unlocks Complementary EEG and Speech Fusion for Emotion Recognition
• Title（参考訳）: 感情認識のための相補的脳波と音声融合の差分注意アンロック
• Abstract要約: EmoSpeechBrainは、ノイズ抑制が有効融合の前提条件であるという知見に基づいて構築されたフレームワークである。 脳波エンコーダは2つの注意マップの違いを利用して、共有ノイズをキャンセルし、識別神経活動を分離する。 PME4とEAVの2つのデータセットでは、EmoSpeechBrainは他のSOTA(State-of-the-art)EEGエンコーダよりも最大12.9%MER精度が向上している。
• 参考スコア（独自算出の注目度）: 23.38380072205896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal emotion recognition (MER) increasingly pairs EEG with speech, treating internal neural signals and external vocal expression as informative views of affect. In practice, naive fusion underperforms the stronger single modality, because EEG artifacts inject noise that corrupts the shared representation. We introduce EmoSpeechBrain, a multimodal framework built on the insight that noise suppression is a precondition for effective fusion. Its EEG encoder uses differential attention, taking the difference between two attention maps to cancel shared noise and isolate discriminative neural activity. An attention-based gating adapter aligns both modalities in a shared space and weights each one's contribution to the prediction. On two datasets - PME4 and EAV, EmoSpeechBrain improves MER accuracy by up to 12.9% over other state-of-the-art (SOTA) EEG encoders, and surpasses unimodal speech and EEG baselines by up to 13.1% and 23.1%. These results show that once EEG noise is suppressed, fusion delivers gains that naive combination cannot.
• Abstract（参考訳）: マルチモーダル感情認識(MER)は、脳波と音声のペアを増し、内的神経信号と外的音声表現を感情の情報的視点として扱う。 実際には、脳波アーチファクトが共有表現を損なうノイズを注入するため、ナイーブ融合はより強い単一モダリティを弱めている。 EmoSpeechBrainは、ノイズ抑制が有効融合の前提条件であるという知見に基づいて構築されたマルチモーダルフレームワークである。 脳波エンコーダは2つの注意マップの違いを利用して、共有ノイズをキャンセルし、識別神経活動を分離する。 注意に基づくゲーティングアダプタは、共有空間における両方のモダリティを調整し、それぞれが予測に対する貢献を重み付けする。 PME4とEAVの2つのデータセットでは、EmoSpeechBrainは、他のSOTA(State-of-the-art)EEGエンコーダよりも最大12.9%、MERの精度を最大13.1%、EEGベースラインを最大23.1%向上している。 これらの結果は、脳波ノイズが抑制されると、核融合は単純な組み合わせでは不可能な利得をもたらすことを示している。

関連論文リスト

• Affect Decoding in Phonated and Silent Speech Production from Surface EMG [87.23336551848297]
  EMGなどの調音筋活動の計測は、音声音声分析とともに感情によって発声がどのように変調されるかを明らかにすることができる。 そこで本研究では,12人の被験者から3つのタスクにまたがる2,780の発話からなるデータセットを導入し,オブジェクト内およびオブジェクト間デコーディングの評価を行った。 以上の結果から,EMG表現は最大0.845AUCのフラストレーションを確実に識別し,調音モード全体にわたってよく一般化することがわかった。
  論文  参考訳（メタデータ） (2026-03-12T09:22:02Z)
• CAT-Net: A Cross-Attention Tone Network for Cross-Subject EEG-EMG Fusion Tone Decoding [0.8714814768600078]
  本稿では,新たなクロスオブジェクトマルチモーダルBCIデコーディングフレームワークを提案する。 脳波とEMG信号を融合させ、4つのマンダリン音を可聴音と無声音の両方で分類する。 脳波-EMGチャネルを最小化したトーンレベルのデコーディングは,被験者間で実現可能であり,潜在的に一般化可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-14T03:50:54Z)
• FDC-Net: Rethinking the association between EEG artifact removal and multi-dimensional affective computing [6.914762787652603]
  エンド・ツー・エンドのノイズ・ロバスト感情認識のための新しいフレームワークを提案する。 FDC-Netは、人工物除去と感情認識の動的協調メカニズムを確立する。 FDC-Netは、DREAMERで82.3+7.1%、DREAMERで88.1+0.8%の感情認識精度を達成する。
  論文  参考訳（メタデータ） (2025-08-07T10:19:16Z)
• VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
  本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。 VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
  論文  参考訳（メタデータ） (2025-05-05T03:00:51Z)
• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• MFHCA: Enhancing Speech Emotion Recognition Via Multi-Spatial Fusion and Hierarchical Cooperative Attention [6.725011823614421]
  本稿では,マルチ空間融合と階層的協調注意を用いた音声感情認識手法であるMFHCAを紹介する。 我々はMF(Multi-Spatial Fusion Module)を用いて感情関連スペクトログラム領域を効率よく同定し、ハイレベル音響情報にヒューバート特徴を統合する。 提案手法をIEMOCAPデータセット上で評価し,重み付き精度と非重み付き精度をそれぞれ2.6%,1.87%改善した。
  論文  参考訳（メタデータ） (2024-04-21T02:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。