論文の概要: Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals

• arxiv url: http://arxiv.org/abs/2310.07648v1
• Date: Wed, 11 Oct 2023 16:45:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 02:11:45.445933
• Title: Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals
• Title（参考訳）: 脳波および末梢生理信号からの多変量多変量感情認識
• Authors: Eleonora Lopez, Eleonora Chiarantano, Eleonora Grassucci, and Danilo Comminiello
• Abstract要約: 本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。 我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
• 参考スコア（独自算出の注目度）: 7.293063257956068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal emotion recognition from physiological signals is receiving an increasing amount of attention due to the impossibility to control them at will unlike behavioral reactions, thus providing more reliable information. Existing deep learning-based methods still rely on extracted handcrafted features, not taking full advantage of the learning ability of neural networks, and often adopt a single-modality approach, while human emotions are inherently expressed in a multimodal way. In this paper, we propose a hypercomplex multimodal network equipped with a novel fusion module comprising parameterized hypercomplex multiplications. Indeed, by operating in a hypercomplex domain the operations follow algebraic rules which allow to model latent relations among learned feature dimensions for a more effective fusion step. We perform classification of valence and arousal from electroencephalogram (EEG) and peripheral physiological signals, employing the publicly available database MAHNOB-HCI surpassing a multimodal state-of-the-art network. The code of our work is freely available at https://github.com/ispamm/MHyEEG.
• Abstract（参考訳）: 生理的信号からのマルチモーダル感情認識は、行動反応と異なり、自由に制御できないため、より信頼性の高い情報を提供するため、注目を集めている。 既存のディープラーニングベースの手法は、ニューラルネットワークの学習能力を十分に活用せず、単一のモダリティアプローチを採用することが多いが、人間の感情は本質的にマルチモーダルな方法で表現されている。 本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。 実際、超複素領域で操作することで、演算はより効果的な融合ステップのために、学習された特徴次元間の潜在関係をモデル化できる代数的規則に従う。 我々は電子脳波(EEG)と周辺生理学的信号から価値と覚醒値の分類を行い,MHNOB-HCIがマルチモーダル・オブ・ザ・アーティカル・ネットワークを超越したデータベースを用いた。 私たちの作業のコードはhttps://github.com/ispamm/MHyEEG.comで無料で公開されています。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• PHemoNet: A Multimodal Network for Physiological Signals [9.54382727022316]
  生理的信号からのマルチモーダル感情認識のための完全超複雑ネットワークであるPHemoNetを紹介する。 アーキテクチャは、モダリティ特異的エンコーダと融合モジュールとから構成される。 提案手法は,MAHNOB-HCIデータセットの最先端モデルより優れている。
  論文  参考訳（メタデータ） (2024-09-13T21:14:27Z)
• Hierarchical Hypercomplex Network for Multimodal Emotion Recognition [9.54382727022316]
  相関関係をフルに捉えるために,階層的な学習構造を持つ完全超複雑ネットワークを導入する。 提案アーキテクチャは感情認識のためのMAHNOB-HCIデータセットの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2024-09-13T21:07:49Z)
• Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition [18.65975882665568]
  機能近赤外分光法(NIRS)や脳波法(EEG)などの生理的信号に基づく抑うつは大きな進歩を遂げている。 本稿では,抑うつ認識のためのマルチスケールコントラストを用いたアーキテクチャを用いたマルチモーダル生理学的信号表現学習フレームワークを提案する。 刺激タスクに関連する意味表現の学習を強化するために,意味コントラストモジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-22T09:28:02Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition [7.559720049837459]
  本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。 具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。 実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-04T18:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。