論文の概要: Emotion recognition based on multi-modal electrophysiology multi-head attention Contrastive Learning

• arxiv url: http://arxiv.org/abs/2308.01919v1
• Date: Wed, 12 Jul 2023 05:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 02:06:45.666244
• Title: Emotion recognition based on multi-modal electrophysiology multi-head attention Contrastive Learning
• Title（参考訳）: マルチモーダル電気生理学的多頭注意コントラスト学習に基づく感情認識
• Authors: Yunfei Guo, Tao Zhang, Wu Huang
• Abstract要約: 自己教師型コントラスト学習に基づくマルチモーダル感情認識手法ME-MHACLを提案する。 訓練された特徴抽出器をラベル付き電気生理学的信号に適用し、特徴融合に多頭部注意機構を用いる。 本手法は,感情認識タスクにおける既存のベンチマーク手法よりも優れ,個人間一般化能力に優れていた。
• 参考スコア（独自算出の注目度）: 3.2536246345549538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion recognition is an important research direction in artificial intelligence, helping machines understand and adapt to human emotional states. Multimodal electrophysiological(ME) signals, such as EEG, GSR, respiration(Resp), and temperature(Temp), are effective biomarkers for reflecting changes in human emotions. However, using electrophysiological signals for emotion recognition faces challenges such as data scarcity, inconsistent labeling, and difficulty in cross-individual generalization. To address these issues, we propose ME-MHACL, a self-supervised contrastive learning-based multimodal emotion recognition method that can learn meaningful feature representations from unlabeled electrophysiological signals and use multi-head attention mechanisms for feature fusion to improve recognition performance. Our method includes two stages: first, we use the Meiosis method to group sample and augment unlabeled electrophysiological signals and design a self-supervised contrastive learning task; second, we apply the trained feature extractor to labeled electrophysiological signals and use multi-head attention mechanisms for feature fusion. We conducted experiments on two public datasets, DEAP and MAHNOB-HCI, and our method outperformed existing benchmark methods in emotion recognition tasks and had good cross-individual generalization ability.
• Abstract（参考訳）: 感情認識は人工知能の重要な研究方向であり、機械が人間の感情状態を理解し適応するのを助ける。 脳波、GSR、呼吸(Resp)、温度(Temp)などのマルチモーダル電気生理学的(ME)信号は、人間の感情の変化を反映する効果的なバイオマーカーである。 しかし、感情認識に電気生理学的信号を用いることは、データの不足、一貫性のないラベリング、個人間一般化の困難といった課題に直面している。 そこで本研究では,無ラベル電気生理学的信号から有意義な特徴表現を学習し,特徴融合のためのマルチヘッド注意機構を用いて認識性能を向上させるための,自己教師付きコントラスト学習に基づくマルチモーダル感情認識手法であるme-mhaclを提案する。 提案手法は,まずMeiosis法を用いて,無ラベルの電気生理学的信号をグループ化し,自己監督型コントラスト学習タスクを設計し,さらに,訓練された特徴抽出器をラベル付き電気生理学的信号に適用し,特徴融合にマルチヘッドアテンション機構を用いる。 我々は,2つの公開データセットであるDEAPとMAHNOB-HCIについて実験を行った。

関連論文リスト

• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• Complex Emotion Recognition System using basic emotions via Facial Expression, EEG, and ECG Signals: a review [1.8310098790941458]
  複雑な感情認識システム(CERS)は、表現された基本的な感情、それらの相互関係、そして動的変動の組合せを調べることによって、複雑な感情状態を解読する。 複雑な感情を識別するAIシステムの開発は、感情的コンピューティングに重要な意味を持つ重要な課題となっている。 心電図(ECG)や脳電図(EEG)などの生理的シグナルを取り入れることで、CERSを顕著に増強することができる。
  論文  参考訳（メタデータ） (2024-09-09T05:06:10Z)
• Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks [0.0]
  本研究では、Long Short-Term Memory (LSTM) ネットワークを用いて脳波信号を解析することにより、感情状態分類の予測精度を向上することを目的とする。 DEAPとして知られる多チャンネル脳波記録の一般的なデータセットを用いて、LSTMネットワークの特性を活用して、脳波信号データ内の時間的依存関係を処理する。 感情認識モデルの能力は, それぞれ89.89%, 90.33%, 90.70%, 90.54%であった。
  論文  参考訳（メタデータ） (2024-08-19T18:10:47Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• A Survey on Physiological Signal Based Emotion Recognition [1.52292571922932]
  生理的信号に基づく感情認識に関する既存のレビュー論文は、感情認識のワークフローに関わる通常のステップのみを調査した。 本稿では、物体間データ分散が感情認識に与える影響、感情認識のための重要なデータアノテーション技術とその比較、各生理的信号に対するデータ前処理技術、感情認識モデルの一般化を改善するデータ分割技術および異なるマルチモーダル融合技術とその比較について述べる。
  論文  参考訳（メタデータ） (2022-05-20T23:59:44Z)
• Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
  顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。 感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
  論文  参考訳（メタデータ） (2021-03-01T08:31:08Z)
• Cross-individual Recognition of Emotions by a Dynamic Entropy based on Pattern Learning with EEG features [2.863100352151122]
  複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。 DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
  論文  参考訳（メタデータ） (2020-09-26T07:22:07Z)
• A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
  脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。 これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
  論文  参考訳（メタデータ） (2020-09-21T02:42:30Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。