論文の概要: Emotion recognition based on multi-modal electrophysiology multi-head
attention Contrastive Learning
- arxiv url: http://arxiv.org/abs/2308.01919v1
- Date: Wed, 12 Jul 2023 05:55:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 02:06:45.666244
- Title: Emotion recognition based on multi-modal electrophysiology multi-head
attention Contrastive Learning
- Title(参考訳): マルチモーダル電気生理学的多頭注意コントラスト学習に基づく感情認識
- Authors: Yunfei Guo, Tao Zhang, Wu Huang
- Abstract要約: 自己教師型コントラスト学習に基づくマルチモーダル感情認識手法ME-MHACLを提案する。
訓練された特徴抽出器をラベル付き電気生理学的信号に適用し、特徴融合に多頭部注意機構を用いる。
本手法は,感情認識タスクにおける既存のベンチマーク手法よりも優れ,個人間一般化能力に優れていた。
- 参考スコア(独自算出の注目度): 3.2536246345549538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotion recognition is an important research direction in artificial
intelligence, helping machines understand and adapt to human emotional states.
Multimodal electrophysiological(ME) signals, such as EEG, GSR,
respiration(Resp), and temperature(Temp), are effective biomarkers for
reflecting changes in human emotions. However, using electrophysiological
signals for emotion recognition faces challenges such as data scarcity,
inconsistent labeling, and difficulty in cross-individual generalization. To
address these issues, we propose ME-MHACL, a self-supervised contrastive
learning-based multimodal emotion recognition method that can learn meaningful
feature representations from unlabeled electrophysiological signals and use
multi-head attention mechanisms for feature fusion to improve recognition
performance. Our method includes two stages: first, we use the Meiosis method
to group sample and augment unlabeled electrophysiological signals and design a
self-supervised contrastive learning task; second, we apply the trained feature
extractor to labeled electrophysiological signals and use multi-head attention
mechanisms for feature fusion. We conducted experiments on two public datasets,
DEAP and MAHNOB-HCI, and our method outperformed existing benchmark methods in
emotion recognition tasks and had good cross-individual generalization ability.
- Abstract(参考訳): 感情認識は人工知能の重要な研究方向であり、機械が人間の感情状態を理解し適応するのを助ける。
脳波、GSR、呼吸(Resp)、温度(Temp)などのマルチモーダル電気生理学的(ME)信号は、人間の感情の変化を反映する効果的なバイオマーカーである。
しかし、感情認識に電気生理学的信号を用いることは、データの不足、一貫性のないラベリング、個人間一般化の困難といった課題に直面している。
そこで本研究では,無ラベル電気生理学的信号から有意義な特徴表現を学習し,特徴融合のためのマルチヘッド注意機構を用いて認識性能を向上させるための,自己教師付きコントラスト学習に基づくマルチモーダル感情認識手法であるme-mhaclを提案する。
提案手法は,まずMeiosis法を用いて,無ラベルの電気生理学的信号をグループ化し,自己監督型コントラスト学習タスクを設計し,さらに,訓練された特徴抽出器をラベル付き電気生理学的信号に適用し,特徴融合にマルチヘッドアテンション機構を用いる。
我々は,2つの公開データセットであるDEAPとMAHNOB-HCIについて実験を行った。
関連論文リスト
- A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳(メタデータ) (2023-09-21T08:53:51Z) - Temporal Aware Mixed Attention-based Convolution and Transformer Network
(MACTN) for EEG Emotion Recognition [7.750875920617686]
局所的・大域的時間的情報を共同でモデル化するための階層型ハイブリッドモデルであるMACTNを提案する。
MACTNは、既存の方法と比較して、優れた分類精度とF1スコアを一貫して達成する。
この手法の初期のバージョンは同じアイデアを共有しており、2022年のワールド・ロボット・コンテストで感情的BCIコンペティションの最終大会で優勝した。
論文 参考訳(メタデータ) (2023-05-18T11:04:50Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - A Survey on Physiological Signal Based Emotion Recognition [1.52292571922932]
生理的信号に基づく感情認識に関する既存のレビュー論文は、感情認識のワークフローに関わる通常のステップのみを調査した。
本稿では、物体間データ分散が感情認識に与える影響、感情認識のための重要なデータアノテーション技術とその比較、各生理的信号に対するデータ前処理技術、感情認識モデルの一般化を改善するデータ分割技術および異なるマルチモーダル融合技術とその比較について述べる。
論文 参考訳(メタデータ) (2022-05-20T23:59:44Z) - Contrastive Learning of Subject-Invariant EEG Representations for
Cross-Subject Emotion Recognition [9.07006689672858]
本稿では、信頼度の高いクロスオブジェクト感情認識のためのISAのためのコントラスト学習法を提案する。
ISAは、異なる刺激に対して同じ刺激を受けた被験者間での脳波信号の類似性を最大化する。
脳波信号から物体間表現を学習するために,深部空間畳み込み層と時間畳み込み層を有する畳み込みニューラルネットワークを適用した。
論文 参考訳(メタデータ) (2021-09-20T14:13:45Z) - Attentive Cross-modal Connections for Deep Multimodal Wearable-based
Emotion Recognition [7.559720049837459]
本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。
具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。
実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-04T18:40:32Z) - Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。
感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文 参考訳(メタデータ) (2021-03-01T08:31:08Z) - Cross-individual Recognition of Emotions by a Dynamic Entropy based on
Pattern Learning with EEG features [2.863100352151122]
複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。
DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
論文 参考訳(メタデータ) (2020-09-26T07:22:07Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳(メタデータ) (2020-09-21T02:42:30Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳(メタデータ) (2020-07-16T09:39:17Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。