論文の概要: Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition

• arxiv url: http://arxiv.org/abs/2405.19373v1
• Date: Tue, 28 May 2024 14:31:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:45:41.407181
• Title: Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition
• Title（参考訳）: マルチモーダル・ムード・リーダー:事前学習したモデルが物体間感情認識に役立てる
• Authors: Yihang Dong, Xuhang Chen, Yanyan Shen, Michael Kwok-Po Ng, Tao Qian, Shuqiang Wang,
• Abstract要約: 我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 23.505616142198487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion recognition based on Electroencephalography (EEG) has gained significant attention and diversified development in fields such as neural signal processing and affective computing. However, the unique brain anatomy of individuals leads to non-negligible natural differences in EEG signals across subjects, posing challenges for cross-subject emotion recognition. While recent studies have attempted to address these issues, they still face limitations in practical effectiveness and model framework unity. Current methods often struggle to capture the complex spatial-temporal dynamics of EEG signals and fail to effectively integrate multimodal information, resulting in suboptimal performance and limited generalizability across subjects. To overcome these limitations, we develop a Pre-trained model based Multimodal Mood Reader for cross-subject emotion recognition that utilizes masked brain signal modeling and interlinked spatial-temporal attention mechanism. The model learns universal latent representations of EEG signals through pre-training on large scale dataset, and employs Interlinked spatial-temporal attention mechanism to process Differential Entropy(DE) features extracted from EEG data. Subsequently, a multi-level fusion layer is proposed to integrate the discriminative features, maximizing the advantages of features across different dimensions and modalities. Extensive experiments on public datasets demonstrate Mood Reader's superior performance in cross-subject emotion recognition tasks, outperforming state-of-the-art methods. Additionally, the model is dissected from attention perspective, providing qualitative analysis of emotion-related brain areas, offering valuable insights for affective research in neural signal processing.
• Abstract（参考訳）: 脳波(EEG)に基づく感情認識は、神経信号処理や感情計算などの分野で大きな注目を集め、多様な発展を遂げている。 しかし、個人特有の脳解剖学は、被験者間での脳波信号の非無視的な自然差をもたらし、クロスオブジェクト感情認識の課題を提起する。 最近の研究はこれらの問題に対処しようと試みているが、実用性やモデルフレームワークの統一性には限界がある。 現在の方法では、脳波信号の複雑な時空間ダイナミクスを捉えるのに苦労し、マルチモーダル情報を効果的に統合することができず、被検体間での最適化性能と限定的な一般化性をもたらす。 これらの制約を克服するために,マスク脳信号モデリングと空間的注意機構を利用したクロスオブジェクト感情認識のための,事前学習モデルに基づくマルチモーダルモードリーダを開発した。 このモデルは,大規模データセットの事前学習を通じて,脳波信号の普遍的な潜時表現を学習し,脳波データから抽出した微分エントロピー(DE)特徴を処理する。 その後、識別的特徴を統合するために多層融合層を提案し、異なる次元とモダリティにまたがる特徴の利点を最大化する。 公開データセットに関する大規模な実験は、Mood Readerのクロスオブジェクト感情認識タスクにおける優れたパフォーマンスを示し、最先端の手法よりも優れています。 さらに、このモデルは注意点から切り離され、感情関連脳領域の質的分析を提供し、神経信号処理における感情研究に有用な洞察を提供する。

関連論文リスト

• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• Joint Contrastive Learning with Feature Alignment for Cross-Corpus EEG-based Emotion Recognition [2.1645626994550664]
  我々は,クロスコーパス脳波に基づく感情認識に対処するために,特徴アライメントを用いた新しいコントラスト学習フレームワークを提案する。 事前学習段階では、脳波信号の一般化可能な時間周波数表現を特徴付けるために、共同領域コントラスト学習戦略を導入する。 微調整の段階では、JCFAは脳電極間の構造的接続を考慮した下流タスクと共に洗練される。
  論文  参考訳（メタデータ） (2024-04-15T08:21:17Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)
• Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation [34.726185927120355]
  脳波の重み付けとして音楽信号を用い,その意味的対応を共通の表現空間に投影することを目的としている。 我々は、LSTMに基づくアテンションモデルと、音楽タギングのための事前訓練されたモデルを組み合わせたバイモーダル・フレームワークと、その2つのモードの分布を整列するリバース・ドメイン・ディミネータを併用して、バイモーダル・フレームワークを利用する。 脳波入力クエリに関連音楽サンプルを提供することにより、モダリティのいずれからも、間接的に、教師付き予測を行うことで、感情認識に利用することができる。
  論文  参考訳（メタデータ） (2022-02-20T07:32:12Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Progressive Graph Convolution Network for EEG Emotion Recognition [35.08010382523394]
  神経科学領域の研究により、感情パターンと脳機能領域の関係が明らかになった。 脳波による感情認識では、きめ細かい感情の間には、きめ細かい感情の間により明確な境界が存在することが観察できる。 脳波の感情信号に特有の特徴を捉えるためのプログレッシブグラフ畳み込みネットワーク(PGCN)を提案する。
  論文  参考訳（メタデータ） (2021-12-14T03:30:13Z)
• Cross-individual Recognition of Emotions by a Dynamic Entropy based on Pattern Learning with EEG features [2.863100352151122]
  複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。 DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
  論文  参考訳（メタデータ） (2020-09-26T07:22:07Z)
• A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
  脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。 これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
  論文  参考訳（メタデータ） (2020-09-21T02:42:30Z)
• Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition [8.356765961526955]
  本稿では, 強度, クラスタリング, 係数, 固有ベクトル中心性という3つの機能接続ネットワーク特性について検討する。 感情認識における脳波接続機能の識別能力は,3つの公開脳波データセットで評価される。 脳波の機能的接続特徴と眼球運動や生理的信号の特徴を組み合わせたマルチモーダル感情認識モデルを構築した。
  論文  参考訳（メタデータ） (2020-04-04T16:51:56Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。