Fugu-MT 論文翻訳(概要): PHemoNet: A Multimodal Network for Physiological Signals

論文の概要: PHemoNet: A Multimodal Network for Physiological Signals

arxiv url: http://arxiv.org/abs/2410.00010v1
Date: Fri, 13 Sep 2024 21:14:27 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 15:38:58.638994
Title: PHemoNet: A Multimodal Network for Physiological Signals
Title（参考訳）: PHemoNet: 生理信号のマルチモーダルネットワーク
Authors: Eleonora Lopez, Aurelio Uncini, Danilo Comminiello,
Abstract要約: 生理的信号からのマルチモーダル感情認識のための完全超複雑ネットワークであるPHemoNetを紹介する。アーキテクチャは、モダリティ特異的エンコーダと融合モジュールとから構成される。提案手法は,MAHNOB-HCIデータセットの最先端モデルより優れている。
参考スコア（独自算出の注目度）: 9.54382727022316
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Emotion recognition is essential across numerous fields, including medical applications and brain-computer interface (BCI). Emotional responses include behavioral reactions, such as tone of voice and body movement, and changes in physiological signals, such as the electroencephalogram (EEG). The latter are involuntary, thus they provide a reliable input for identifying emotions, in contrast to the former which individuals can consciously control. These signals reveal true emotional states without intentional alteration, thus increasing the accuracy of emotion recognition models. However, multimodal deep learning methods from physiological signals have not been significantly investigated. In this paper, we introduce PHemoNet, a fully hypercomplex network for multimodal emotion recognition from physiological signals. In detail, the architecture comprises modality-specific encoders and a fusion module. Both encoders and fusion modules are defined in the hypercomplex domain through parameterized hypercomplex multiplications (PHMs) that can capture latent relations between the different dimensions of each modality and between the modalities themselves. The proposed method outperforms current state-of-the-art models on the MAHNOB-HCI dataset in classifying valence and arousal using electroencephalograms (EEGs) and peripheral physiological signals. The code for this work is available at https://github.com/ispamm/MHyEEG.
Abstract（参考訳）: 感情認識は、医療応用や脳-コンピュータインターフェース(BCI)など、多くの分野において不可欠である。感情反応には、声のトーンや体の動きのような行動反応、脳波(EEG)のような生理的信号の変化が含まれる。後者は不随意であり、個人が意識的にコントロールできる前者とは対照的に、感情を識別するための信頼できる入力を提供する。これらの信号は、意図的な変化のない真の感情状態を示し、それによって感情認識モデルの精度が向上する。しかし, 生理学的信号からの多モード深層学習法は, 十分に研究されていない。本稿では,生理的信号からのマルチモーダル感情認識のための完全超複雑ネットワークであるPHemoNetを紹介する。詳しくは、アーキテクチャはモダリティ固有のエンコーダと融合モジュールから構成される。エンコーダと融合モジュールは、各モダリティの異なる次元とモダリティ自身の間の遅延関係をキャプチャできるパラメータ化超複素乗法(PHM)によって、超複素領域内で定義される。提案手法は,脳波と周辺生理信号を用いて,MAHNOB-HCIデータセットの値と覚醒の分類において,最先端のモデルよりも優れていた。この作業のコードはhttps://github.com/ispamm/MHyEEG.comで公開されている。

関連論文リスト

Online Multi-level Contrastive Representation Distillation for Cross-Subject fNIRS Emotion Recognition [11.72499878247794]
我々は,OMCRD(Online Multi-level Contrastive Representation Distillation framework)と呼ばれる,クロスオブジェクトなfNIRS感情認識手法を提案する。 OMCRDは、複数の軽量学生ネットワーク間の相互学習のために設計されたフレームワークである。いくつかの実験結果から,OMCRDは情緒的知覚や情緒的イメージタスクにおいて,最先端の成果を達成できることが示された。
論文参考訳（メタデータ） (2024-09-24T13:30:15Z)
Hierarchical Hypercomplex Network for Multimodal Emotion Recognition [9.54382727022316]
相関関係をフルに捉えるために,階層的な学習構造を持つ完全超複雑ネットワークを導入する。提案アーキテクチャは感情認識のためのMAHNOB-HCIデータセットの最先端モデルを上回る。
論文参考訳（メタデータ） (2024-09-13T21:07:49Z)
Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks [0.0]
本研究では、Long Short-Term Memory (LSTM) ネットワークを用いて脳波信号を解析することにより、感情状態分類の予測精度を向上することを目的とする。 DEAPとして知られる多チャンネル脳波記録の一般的なデータセットを用いて、LSTMネットワークの特性を活用して、脳波信号データ内の時間的依存関係を処理する。感情認識モデルの能力は, それぞれ89.89%, 90.33%, 90.70%, 90.54%であった。
論文参考訳（メタデータ） (2024-08-19T18:10:47Z)
Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-05-28T14:31:11Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文参考訳（メタデータ） (2023-10-11T16:45:44Z)
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文参考訳（メタデータ） (2022-10-23T15:11:37Z)
Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文参考訳（メタデータ） (2022-02-16T00:23:42Z)
Emotional EEG Classification using Connectivity Features and Convolutional Neural Networks [81.74442855155843]
CNNと脳のつながりを利用した新しい分類システムを導入し,その効果を感情映像分類により検証する。対象映像の感情的特性に関連する脳接続の集中度は分類性能と相関する。
論文参考訳（メタデータ） (2021-01-18T13:28:08Z)
A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文参考訳（メタデータ） (2020-09-21T02:42:30Z)
Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文参考訳（メタデータ） (2020-07-16T09:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。