論文の概要: PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition
- arxiv url: http://arxiv.org/abs/2504.17163v1
- Date: Thu, 24 Apr 2025 00:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.207688
- Title: PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition
- Title（参考訳）: 脳波に基づく感情認識のための生理的シンクロナイゼーションによる時間的・横断的なコントラスト学習
- Authors: Kai Cui, Jia Li, Yu Liu, Xuesong Zhang, Zhenzhen Hu, Meng Wang,
- Abstract要約: 時間的および横断的なコントラスト学習を活用した新しい事前学習フレームワークであるPhyloSyncを提案する。
事前トレーニング後、クロスレゾリューションとクロスモーダルの機能は階層的に融合され、微調整され、感情認識が強化される。
DEAPデータセットとDREAMERデータセットの実験は、一様および交差モード条件下でのPhyloSyncの高度なパフォーマンスを実証している。
- 参考スコア（独自算出の注目度）: 26.384133051131133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) signals provide a promising and involuntary reflection of brain activity related to emotional states, offering significant advantages over behavioral cues like facial expressions. However, EEG signals are often noisy, affected by artifacts, and vary across individuals, complicating emotion recognition. While multimodal approaches have used Peripheral Physiological Signals (PPS) like GSR to complement EEG, they often overlook the dynamic synchronization and consistent semantics between the modalities. Additionally, the temporal dynamics of emotional fluctuations across different time resolutions in PPS remain underexplored. To address these challenges, we propose PhysioSync, a novel pre-training framework leveraging temporal and cross-modal contrastive learning, inspired by physiological synchronization phenomena. PhysioSync incorporates Cross-Modal Consistency Alignment (CM-CA) to model dynamic relationships between EEG and complementary PPS, enabling emotion-related synchronizations across modalities. Besides, it introduces Long- and Short-Term Temporal Contrastive Learning (LS-TCL) to capture emotional synchronization at different temporal resolutions within modalities. After pre-training, cross-resolution and cross-modal features are hierarchically fused and fine-tuned to enhance emotion recognition. Experiments on DEAP and DREAMER datasets demonstrate PhysioSync's advanced performance under uni-modal and cross-modal conditions, highlighting its effectiveness for EEG-centered emotion recognition.
- Abstract（参考訳）: 脳波(EEG)信号は、感情状態に関連する脳活動の有望かつ不随意な反映を与え、表情のような行動的手がかりに対して大きな優位性をもたらす。
しかし、脳波の信号は、しばしば騒々しく、人工物に影響され、個人によって異なるため、感情認識が複雑になる。
マルチモーダルアプローチでは、GSRのような周辺生理信号(PPS)を用いて脳波を補完しているが、それらはしばしばモダリティ間の動的同期と一貫した意味論を見落としている。
さらに、PSSの異なる時間分解能における感情変動の時間的ダイナミクスは未解明のままである。
これらの課題に対処するために,生理的同期現象に触発された時間的・横断的なコントラスト学習を活用した新しい事前学習フレームワークであるPhyloSyncを提案する。
PhysioSyncは、M-CA(Cross-Modal Consistency Alignment)を導入し、脳波と相補的なPSSのダイナミックな関係をモデル化し、モダリティ間の感情関連同期を可能にする。
さらに、長期的・短期的時間的コントラスト学習(LS-TCL)を導入し、モダリティ内の異なる時間的解像度で感情的同期を捉える。
事前トレーニング後、クロスレゾリューションとクロスモーダルの機能は階層的に融合され、微調整され、感情認識が強化される。
DEAPとDREAMERデータセットの実験は、一様および横断的な条件下でのPhyloSyncの高度なパフォーマンスを示し、脳波中心の感情認識の有効性を強調している。
関連論文リスト
- Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。
我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。
次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。
第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
論文 参考訳（メタデータ） (2025-04-25T05:28:21Z) - Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-11-08T04:53:55Z) - PHemoNet: A Multimodal Network for Physiological Signals [9.54382727022316]
生理的信号からのマルチモーダル感情認識のための完全超複雑ネットワークであるPHemoNetを紹介する。
アーキテクチャは、モダリティ特異的エンコーダと融合モジュールとから構成される。
提案手法は,MAHNOB-HCIデータセットの最先端モデルより優れている。
論文 参考訳（メタデータ） (2024-09-13T21:14:27Z) - Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition [18.65975882665568]
機能近赤外分光法(NIRS)や脳波法(EEG)などの生理的信号に基づく抑うつは大きな進歩を遂げている。
本稿では,抑うつ認識のためのマルチスケールコントラストを用いたアーキテクチャを用いたマルチモーダル生理学的信号表現学習フレームワークを提案する。
刺激タスクに関連する意味表現の学習を強化するために,意味コントラストモジュールを提案する。
論文 参考訳（メタデータ） (2024-06-22T09:28:02Z) - Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。
このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。
公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-05-28T14:31:11Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳（メタデータ） (2023-07-24T12:21:33Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳（メタデータ） (2022-10-23T15:11:37Z) - Progressive Graph Convolution Network for EEG Emotion Recognition [35.08010382523394]
神経科学領域の研究により、感情パターンと脳機能領域の関係が明らかになった。
脳波による感情認識では、きめ細かい感情の間には、きめ細かい感情の間により明確な境界が存在することが観察できる。
脳波の感情信号に特有の特徴を捉えるためのプログレッシブグラフ畳み込みネットワーク(PGCN)を提案する。
論文 参考訳（メタデータ） (2021-12-14T03:30:13Z) - Contrastive Learning of Subject-Invariant EEG Representations for
Cross-Subject Emotion Recognition [9.07006689672858]
本稿では、信頼度の高いクロスオブジェクト感情認識のためのISAのためのコントラスト学習法を提案する。
ISAは、異なる刺激に対して同じ刺激を受けた被験者間での脳波信号の類似性を最大化する。
脳波信号から物体間表現を学習するために,深部空間畳み込み層と時間畳み込み層を有する畳み込みニューラルネットワークを適用した。
論文 参考訳（メタデータ） (2021-09-20T14:13:45Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳（メタデータ） (2020-07-16T09:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。