論文の概要: Investigating EEG-Based Functional Connectivity Patterns for Multimodal
Emotion Recognition
- arxiv url: http://arxiv.org/abs/2004.01973v1
- Date: Sat, 4 Apr 2020 16:51:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 23:27:49.919243
- Title: Investigating EEG-Based Functional Connectivity Patterns for Multimodal
Emotion Recognition
- Title(参考訳): マルチモーダル感情認識のための脳波機能接続パターンの検討
- Authors: Xun Wu, Wei-Long Zheng, and Bao-Liang Lu
- Abstract要約: 本稿では, 強度, クラスタリング, 係数, 固有ベクトル中心性という3つの機能接続ネットワーク特性について検討する。
感情認識における脳波接続機能の識別能力は,3つの公開脳波データセットで評価される。
脳波の機能的接続特徴と眼球運動や生理的信号の特徴を組み合わせたマルチモーダル感情認識モデルを構築した。
- 参考スコア(独自算出の注目度): 8.356765961526955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compared with the rich studies on the motor brain-computer interface (BCI),
the recently emerging affective BCI presents distinct challenges since the
brain functional connectivity networks involving emotion are not well
investigated. Previous studies on emotion recognition based on
electroencephalography (EEG) signals mainly rely on single-channel-based
feature extraction methods. In this paper, we propose a novel emotion-relevant
critical subnetwork selection algorithm and investigate three EEG functional
connectivity network features: strength, clustering coefficient, and
eigenvector centrality. The discrimination ability of the EEG connectivity
features in emotion recognition is evaluated on three public emotion EEG
datasets: SEED, SEED-V, and DEAP. The strength feature achieves the best
classification performance and outperforms the state-of-the-art differential
entropy feature based on single-channel analysis. The experimental results
reveal that distinct functional connectivity patterns are exhibited for the
five emotions of disgust, fear, sadness, happiness, and neutrality.
Furthermore, we construct a multimodal emotion recognition model by combining
the functional connectivity features from EEG and the features from eye
movements or physiological signals using deep canonical correlation analysis.
The classification accuracies of multimodal emotion recognition are 95.08/6.42%
on the SEED dataset, 84.51/5.11% on the SEED-V dataset, and 85.34/2.90% and
86.61/3.76% for arousal and valence on the DEAP dataset, respectively. The
results demonstrate the complementary representation properties of the EEG
connectivity features with eye movement data. In addition, we find that the
brain networks constructed with 18 channels achieve comparable performance with
that of the 62-channel network in multimodal emotion recognition and enable
easier setups for BCI systems in real scenarios.
- Abstract(参考訳): 運動脳-コンピュータインタフェース(BCI)に関する豊富な研究と比較すると、感情を含む脳機能接続ネットワークが十分に研究されていないため、最近出現する感情的BCIは異なる課題を呈している。
脳波(EEG)信号に基づく感情認識に関する研究は、主に単一チャンネルに基づく特徴抽出法に依存している。
本稿では,感情関連クリティカルサブネットワーク選択アルゴリズムを提案し,脳波機能接続ネットワークの特徴である強度,クラスタリング係数,固有ベクトル中心性について検討する。
感情認識における脳波接続機能の識別能力は、SEED、SEED-V、DEAPの3つの公開感情脳波データセットで評価される。
強度特性は最良の分類性能を達成し、単一チャネル解析に基づく最先端の微分エントロピー特性を上回る。
実験の結果, 嫌悪感, 恐怖, 悲しみ, 幸福, 中立性の5つの感情に対して, 機能的接続パターンが明らかとなった。
さらに,脳波の機能的接続特徴と眼球運動や生理的信号の特徴を,深い正準相関解析を用いて組み合わせたマルチモーダル感情認識モデルを構築した。
マルチモーダル感情認識の分類精度は、SEEDデータセットでは95.08/6.42%、SEED-Vデータセットでは84.51/5.11%、DEAPデータセットでは85.34/2.90%、86.61/3.76%である。
その結果,眼球運動データを用いた脳波接続特性の相補的表現特性が示された。
さらに,18チャンネルで構築された脳ネットワークは,マルチモーダル感情認識において62チャンネルネットワークと同等の性能を示し,実シナリオにおけるBCIシステムのセットアップを容易にする。
関連論文リスト
- Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks [0.0]
本研究では、Long Short-Term Memory (LSTM) ネットワークを用いて脳波信号を解析することにより、感情状態分類の予測精度を向上することを目的とする。
DEAPとして知られる多チャンネル脳波記録の一般的なデータセットを用いて、LSTMネットワークの特性を活用して、脳波信号データ内の時間的依存関係を処理する。
感情認識モデルの能力は, それぞれ89.89%, 90.33%, 90.70%, 90.54%であった。
論文 参考訳(メタデータ) (2024-08-19T18:10:47Z) - Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。
このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。
公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-05-28T14:31:11Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T13:43:46Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Progressive Graph Convolution Network for EEG Emotion Recognition [35.08010382523394]
神経科学領域の研究により、感情パターンと脳機能領域の関係が明らかになった。
脳波による感情認識では、きめ細かい感情の間には、きめ細かい感情の間により明確な境界が存在することが観察できる。
脳波の感情信号に特有の特徴を捉えるためのプログレッシブグラフ畳み込みネットワーク(PGCN)を提案する。
論文 参考訳(メタデータ) (2021-12-14T03:30:13Z) - EEGminer: Discovering Interpretable Features of Brain Activity with
Learnable Filters [72.19032452642728]
本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。
我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。
発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
論文 参考訳(メタデータ) (2021-10-19T14:22:04Z) - Contrastive Learning of Subject-Invariant EEG Representations for
Cross-Subject Emotion Recognition [9.07006689672858]
本稿では、信頼度の高いクロスオブジェクト感情認識のためのISAのためのコントラスト学習法を提案する。
ISAは、異なる刺激に対して同じ刺激を受けた被験者間での脳波信号の類似性を最大化する。
脳波信号から物体間表現を学習するために,深部空間畳み込み層と時間畳み込み層を有する畳み込みニューラルネットワークを適用した。
論文 参考訳(メタデータ) (2021-09-20T14:13:45Z) - SFE-Net: EEG-based Emotion Recognition with Symmetrical Spatial Feature
Extraction [1.8047694351309205]
脳波の特徴抽出と感情認識のための空間的折り畳みアンサンブルネットワーク(SFENet)を提案する。
ヒト脳の空間対称性のメカニズムによって、入力された脳波チャンネルデータを5つの異なる対称戦略で折り畳む。
このネットワークにより、異なる対称折り畳み記号の空間的特徴を同時に抽出することができ、特徴認識の堅牢性と精度を大幅に向上させる。
論文 参考訳(メタデータ) (2021-04-09T12:59:38Z) - Emotional EEG Classification using Connectivity Features and
Convolutional Neural Networks [81.74442855155843]
CNNと脳のつながりを利用した新しい分類システムを導入し,その効果を感情映像分類により検証する。
対象映像の感情的特性に関連する脳接続の集中度は分類性能と相関する。
論文 参考訳(メタデータ) (2021-01-18T13:28:08Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳(メタデータ) (2020-09-21T02:42:30Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。