論文の概要: Hierarchical Hypercomplex Network for Multimodal Emotion Recognition
- arxiv url: http://arxiv.org/abs/2409.09194v2
- Date: Thu, 10 Oct 2024 15:35:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 20:57:42.462785
- Title: Hierarchical Hypercomplex Network for Multimodal Emotion Recognition
- Title（参考訳）: 階層型ハイパープレックスネットワークによるマルチモーダル感情認識
- Authors: Eleonora Lopez, Aurelio Uncini, Danilo Comminiello,
- Abstract要約: 相関関係をフルに捉えるために,階層的な学習構造を持つ完全超複雑ネットワークを導入する。
提案アーキテクチャは感情認識のためのMAHNOB-HCIデータセットの最先端モデルを上回る。
- 参考スコア（独自算出の注目度）: 9.54382727022316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotion recognition is relevant in various domains, ranging from healthcare to human-computer interaction. Physiological signals, being beyond voluntary control, offer reliable information for this purpose, unlike speech and facial expressions which can be controlled at will. They reflect genuine emotional responses, devoid of conscious manipulation, thereby enhancing the credibility of emotion recognition systems. Nonetheless, multimodal emotion recognition with deep learning models remains a relatively unexplored field. In this paper, we introduce a fully hypercomplex network with a hierarchical learning structure to fully capture correlations. Specifically, at the encoder level, the model learns intra-modal relations among the different channels of each input signal. Then, a hypercomplex fusion module learns inter-modal relations among the embeddings of the different modalities. The main novelty is in exploiting intra-modal relations by endowing the encoders with parameterized hypercomplex convolutions (PHCs) that thanks to hypercomplex algebra can capture inter-channel interactions within single modalities. Instead, the fusion module comprises parameterized hypercomplex multiplications (PHMs) that can model inter-modal correlations. The proposed architecture surpasses state-of-the-art models on the MAHNOB-HCI dataset for emotion recognition, specifically in classifying valence and arousal from electroencephalograms (EEGs) and peripheral physiological signals. The code of this study is available at https://github.com/ispamm/MHyEEG.
- Abstract（参考訳）: 感情認識は、医療から人間とコンピュータの相互作用まで、様々な領域で関係している。
自発的に制御できない生理学的信号は、自由に制御できる音声や表情とは異なり、この目的のために信頼できる情報を提供する。
真の感情反応を反映し、意識的な操作を欠き、感情認識システムの信頼性を高める。
それでも、深層学習モデルを用いたマルチモーダル感情認識は、まだ探索されていない分野である。
本稿では,階層的な学習構造を持つ完全超複素ネットワークを導入し,相関関係をフルキャプチャする。
具体的には、エンコーダレベルでは、各入力信号の異なるチャネル間のモード内関係を学習する。
そして、超複素核融合加群は、異なるモダリティの埋め込みの間のモーダル間関係を学習する。
主な特徴は、超複素代数のおかげで単一モード内でのチャネル間相互作用を捉えることができるパラメータ化超複素畳み込み(PHC)をエンコーダに与えることで、モーダル内関係を利用することである。
代わりに、融合モジュールはパラメータ化された超複素乗法(PHM)を含み、モーダル間相関をモデル化することができる。
提案アーキテクチャは、感情認識のためのMAHNOB-HCIデータセットの最先端モデル、特に脳波(EEG)と周辺生理学的信号からの原子価と覚醒の分類において超越している。
この研究のコードはhttps://github.com/ispamm/MHyEEG.comで公開されている。
関連論文リスト
- PHemoNet: A Multimodal Network for Physiological Signals [9.54382727022316]
生理的信号からのマルチモーダル感情認識のための完全超複雑ネットワークであるPHemoNetを紹介する。
アーキテクチャは、モダリティ特異的エンコーダと融合モジュールとから構成される。
提案手法は,MAHNOB-HCIデータセットの最先端モデルより優れている。
論文 参考訳（メタデータ） (2024-09-13T21:14:27Z) - Inferring Relational Potentials in Interacting Systems [56.498417950856904]
このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。
NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。
別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
論文 参考訳（メタデータ） (2023-10-23T00:44:17Z) - Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文 参考訳（メタデータ） (2023-10-11T16:45:44Z) - TACOformer:Token-channel compounded Cross Attention for Multimodal
Emotion Recognition [0.951828574518325]
本稿では,チャネルレベルとトークンレベルの相互通信を統合したマルチモーダル融合の包括的視点を提案する。
具体的には,Token-chAnnel Compound (TACO) Cross Attentionというクロスアテンションモジュールを導入する。
また,脳波信号チャネルの空間分布に関する情報を保存するための2次元位置符号化手法を提案する。
論文 参考訳（メタデータ） (2023-06-23T16:28:12Z) - EMERSK -- Explainable Multimodal Emotion Recognition with Situational
Knowledge [0.0]
状況知識を用いた説明可能なマルチモーダル感情認識(EMERSK)を提案する。
EMERSKは視覚情報を用いた人間の感情認識と説明のための汎用システムである。
本システムは, 表情, 姿勢, 歩行などの複数のモーダルを柔軟かつモジュラーな方法で処理することができる。
論文 参考訳（メタデータ） (2023-06-14T17:52:37Z) - EmotionIC: emotional inertia and contagion-driven dependency modeling for emotion recognition in conversation [34.24557248359872]
本稿では,ERCタスクに対する感情的慣性・伝染型依存性モデリング手法(EmotionIC)を提案する。
EmotionICは3つの主要コンポーネント、すなわちIDマスク付きマルチヘッド注意(IMMHA)、対話型Gated Recurrent Unit(DiaGRU)、Skip-chain Conditional Random Field(SkipCRF)から構成されている。
実験結果から,提案手法は4つのベンチマークデータセットにおいて,最先端のモデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-03-20T13:58:35Z) - A Hierarchical Regression Chain Framework for Affective Vocal Burst
Recognition [72.36055502078193]
本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。
データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。
提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
論文 参考訳（メタデータ） (2023-03-14T16:08:45Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳（メタデータ） (2022-10-23T15:11:37Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-01-24T17:48:04Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。