論文の概要: Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion
Recognition
- arxiv url: http://arxiv.org/abs/2208.00877v2
- Date: Tue, 2 Aug 2022 11:29:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-07 14:39:30.908532
- Title: Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion
Recognition
- Title(参考訳): 脳波に基づく感情認識のための自己教師付きグループメシアスコントラスト学習
- Authors: Haoning Kan, Jiale Yu, Jiajin Huang, Zihe Liu, Haiyan Zhou
- Abstract要約: 限られたラベルで感情を認識する方法が、新しい研究とアプリケーションのボトルネックになっている。
本稿では,ヒトにおける脳波の刺激的一貫した信号に基づく,自己教師型グループマイオーシスコントラスト学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 4.763573596218676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The progress of EEG-based emotion recognition has received widespread
attention from the fields of human-machine interactions and cognitive science
in recent years. However, how to recognize emotions with limited labels has
become a new research and application bottleneck. To address the issue, this
paper proposes a Self-supervised Group Meiosis Contrastive learning framework
(SGMC) based on the stimuli consistent EEG signals in human being. In the SGMC,
a novel genetics-inspired data augmentation method, named Meiosis, is
developed. It takes advantage of the alignment of stimuli among the EEG samples
in a group for generating augmented groups by pairing, cross exchanging, and
separating. And the model adopts a group projector to extract group-level
feature representations from group EEG samples triggered by the same emotion
video stimuli. Then contrastive learning is employed to maximize the similarity
of group-level representations of augmented groups with the same stimuli. The
SGMC achieves the state-of-the-art emotion recognition results on the publicly
available DEAP dataset with an accuracy of 94.72% and 95.68% in valence and
arousal dimensions, and also reaches competitive performance on the public SEED
dataset with an accuracy of 94.04%. It is worthy of noting that the SGMC shows
significant performance even when using limited labels. Moreover, the results
of feature visualization suggest that the model might have learned video-level
emotion-related feature representations to improve emotion recognition. And the
effects of group size are further evaluated in the hyper parametric analysis.
Finally, a control experiment and ablation study are carried out to examine the
rationality of architecture. The code is provided publicly online.
- Abstract(参考訳): 近年、脳波に基づく感情認識の進歩は、人間と機械の相互作用と認知科学の分野から広く注目を集めている。
しかし、ラベルを限定した感情を認識する方法は、新しい研究と応用のボトルネックとなっている。
そこで本研究では,人間の脳波の刺激的一貫した信号に基づいて,自己指導型グループ・マイオーシス・コントラスト学習フレームワーク(SGMC)を提案する。
SGMCでは、Meiosisという遺伝子にインスパイアされた新しいデータ拡張法が開発されている。
グループ内の脳波サンプル間の刺激のアライメントを利用して、ペアリング、交差交換、分離によって強化されたグループを生成する。
モデルではグループプロジェクターを用いて、同じ感情ビデオ刺激によって誘発されるグループ脳波サンプルからグループレベルの特徴表現を抽出する。
次に、同じ刺激を持つ拡張群の群レベル表現の類似性を最大化するために、対比学習を用いる。
SGMCは94.72%と95.68%の精度で公開されているDEAPデータセット上で最先端の感情認識結果を達成し、94.04%の精度で公開SEEDデータセット上での競争性能に達する。
なお、SGMCはラベルが限られている場合でも大きな性能を示す。
さらに,特徴視覚化の結果から,映像レベルの感情関連特徴表現を学習し,感情認識を改善した可能性が示唆された。
また,超パラメトリック分析ではグループサイズの影響がさらに評価された。
最後に,建築の合理性を調べるため,制御実験とアブレーション研究を行った。
コードはオンラインで公開されている。
関連論文リスト
- Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳(メタデータ) (2024-11-08T04:53:55Z) - A Supervised Information Enhanced Multi-Granularity Contrastive Learning Framework for EEG Based Emotion Recognition [14.199298112101802]
本研究では,脳波に基づく感情認識(SICLEER, Supervised Info-enhanced Contrastive Learning)のための新しいコントラスト学習フレームワークを提案する。
自己教師付きコントラスト学習損失と教師付き分類損失を組み合わせた共同学習モデルを提案する。
論文 参考訳(メタデータ) (2024-05-12T11:51:00Z) - Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences [4.740624855896404]
自己教師型歩行に基づく感情表現のための選択的強強化を利用したコントラスト学習フレームワークを提案する。
提案手法はEmotion-Gait (E-Gait) と Emilya のデータセットで検証され, 異なる評価プロトコル下での最先端手法よりも優れている。
論文 参考訳(メタデータ) (2024-05-08T09:13:10Z) - CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework
for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。
近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-13T22:46:43Z) - A Hierarchical Regression Chain Framework for Affective Vocal Burst
Recognition [72.36055502078193]
本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。
データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。
提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
論文 参考訳(メタデータ) (2023-03-14T16:08:45Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Progressive Graph Convolution Network for EEG Emotion Recognition [35.08010382523394]
神経科学領域の研究により、感情パターンと脳機能領域の関係が明らかになった。
脳波による感情認識では、きめ細かい感情の間には、きめ細かい感情の間により明確な境界が存在することが観察できる。
脳波の感情信号に特有の特徴を捉えるためのプログレッシブグラフ畳み込みネットワーク(PGCN)を提案する。
論文 参考訳(メタデータ) (2021-12-14T03:30:13Z) - Contrastive Learning of Subject-Invariant EEG Representations for
Cross-Subject Emotion Recognition [9.07006689672858]
本稿では、信頼度の高いクロスオブジェクト感情認識のためのISAのためのコントラスト学習法を提案する。
ISAは、異なる刺激に対して同じ刺激を受けた被験者間での脳波信号の類似性を最大化する。
脳波信号から物体間表現を学習するために,深部空間畳み込み層と時間畳み込み層を有する畳み込みニューラルネットワークを適用した。
論文 参考訳(メタデータ) (2021-09-20T14:13:45Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳(メタデータ) (2020-09-21T02:42:30Z) - Investigating EEG-Based Functional Connectivity Patterns for Multimodal
Emotion Recognition [8.356765961526955]
本稿では, 強度, クラスタリング, 係数, 固有ベクトル中心性という3つの機能接続ネットワーク特性について検討する。
感情認識における脳波接続機能の識別能力は,3つの公開脳波データセットで評価される。
脳波の機能的接続特徴と眼球運動や生理的信号の特徴を組み合わせたマルチモーダル感情認識モデルを構築した。
論文 参考訳(メタデータ) (2020-04-04T16:51:56Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。