論文の概要: Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals
- arxiv url: http://arxiv.org/abs/2310.07648v1
- Date: Wed, 11 Oct 2023 16:45:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 02:11:45.445933
- Title: Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals
- Title(参考訳): 脳波および末梢生理信号からの多変量多変量感情認識
- Authors: Eleonora Lopez, Eleonora Chiarantano, Eleonora Grassucci, and Danilo
Comminiello
- Abstract要約: 本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
- 参考スコア(独自算出の注目度): 7.293063257956068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal emotion recognition from physiological signals is receiving an
increasing amount of attention due to the impossibility to control them at will
unlike behavioral reactions, thus providing more reliable information. Existing
deep learning-based methods still rely on extracted handcrafted features, not
taking full advantage of the learning ability of neural networks, and often
adopt a single-modality approach, while human emotions are inherently expressed
in a multimodal way. In this paper, we propose a hypercomplex multimodal
network equipped with a novel fusion module comprising parameterized
hypercomplex multiplications. Indeed, by operating in a hypercomplex domain the
operations follow algebraic rules which allow to model latent relations among
learned feature dimensions for a more effective fusion step. We perform
classification of valence and arousal from electroencephalogram (EEG) and
peripheral physiological signals, employing the publicly available database
MAHNOB-HCI surpassing a multimodal state-of-the-art network. The code of our
work is freely available at https://github.com/ispamm/MHyEEG.
- Abstract(参考訳): 生理的信号からのマルチモーダル感情認識は、行動反応と異なり、自由に制御できないため、より信頼性の高い情報を提供するため、注目を集めている。
既存のディープラーニングベースの手法は、ニューラルネットワークの学習能力を十分に活用せず、単一のモダリティアプローチを採用することが多いが、人間の感情は本質的にマルチモーダルな方法で表現されている。
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
実際、超複素領域で操作することで、演算はより効果的な融合ステップのために、学習された特徴次元間の潜在関係をモデル化できる代数的規則に従う。
我々は電子脳波(EEG)と周辺生理学的信号から価値と覚醒値の分類を行い,MHNOB-HCIがマルチモーダル・オブ・ザ・アーティカル・ネットワークを超越したデータベースを用いた。
私たちの作業のコードはhttps://github.com/ispamm/MHyEEG.comで無料で公開されています。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - EMERSK -- Explainable Multimodal Emotion Recognition with Situational
Knowledge [0.0]
状況知識を用いた説明可能なマルチモーダル感情認識(EMERSK)を提案する。
EMERSKは視覚情報を用いた人間の感情認識と説明のための汎用システムである。
本システムは, 表情, 姿勢, 歩行などの複数のモーダルを柔軟かつモジュラーな方法で処理することができる。
論文 参考訳(メタデータ) (2023-06-14T17:52:37Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - Neural Dependency Coding inspired Multimodal Fusion [11.182263394122142]
近年のニューラルネットワークによる深層融合モデルの研究は、音声認識、感情認識、分析、キャプション、画像記述などの分野で大幅に改善されている。
近年の多感覚統合と処理に関する神経科学の考え方に触発され,シナジー最大化損失関数の効果について検討した。
論文 参考訳(メタデータ) (2021-09-28T17:52:09Z) - Attentive Cross-modal Connections for Deep Multimodal Wearable-based
Emotion Recognition [7.559720049837459]
本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。
具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。
実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-04T18:40:32Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳(メタデータ) (2021-06-15T05:30:17Z) - Cross-individual Recognition of Emotions by a Dynamic Entropy based on
Pattern Learning with EEG features [2.863100352151122]
複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。
DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
論文 参考訳(メタデータ) (2020-09-26T07:22:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。