論文の概要: Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation

• arxiv url: http://arxiv.org/abs/2202.09750v1
• Date: Sun, 20 Feb 2022 07:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 12:03:07.284228
• Title: Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation
• Title（参考訳）: マルチモーダル監督と潜在ドメイン適応による音楽誘発脳波の情動表現の増強
• Authors: Kleanthis Avramidis, Christos Garoufis, Athanasia Zlatintsi, Petros Maragos
• Abstract要約: 脳波の重み付けとして音楽信号を用い,その意味的対応を共通の表現空間に投影することを目的としている。 我々は、LSTMに基づくアテンションモデルと、音楽タギングのための事前訓練されたモデルを組み合わせたバイモーダル・フレームワークと、その2つのモードの分布を整列するリバース・ドメイン・ディミネータを併用して、バイモーダル・フレームワークを利用する。 脳波入力クエリに関連音楽サンプルを提供することにより、モダリティのいずれからも、間接的に、教師付き予測を行うことで、感情認識に利用することができる。
• 参考スコア（独自算出の注目度）: 34.726185927120355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study of Music Cognition and neural responses to music has been invaluable in understanding human emotions. Brain signals, though, manifest a highly complex structure that makes processing and retrieving meaningful features challenging, particularly of abstract constructs like affect. Moreover, the performance of learning models is undermined by the limited amount of available neuronal data and their severe inter-subject variability. In this paper we extract efficient, personalized affective representations from EEG signals during music listening. To this end, we employ music signals as a supervisory modality to EEG, aiming to project their semantic correspondence onto a common representation space. We utilize a bi-modal framework by combining an LSTM-based attention model to process EEG and a pre-trained model for music tagging, along with a reverse domain discriminator to align the distributions of the two modalities, further constraining the learning process with emotion tags. The resulting framework can be utilized for emotion recognition both directly, by performing supervised predictions from either modality, and indirectly, by providing relevant music samples to EEG input queries. The experimental findings show the potential of enhancing neuronal data through stimulus information for recognition purposes and yield insights into the distribution and temporal variance of music-induced affective features.
• Abstract（参考訳）: 音楽認知と音楽に対する神経反応の研究は人間の感情を理解する上で非常に重要である。 しかし、脳信号は、特に影響のような抽象的な構造において、意味のある特徴の処理と検索を困難にする非常に複雑な構造を示す。 さらに、学習モデルの性能は、利用可能なニューロンデータの限られた量と、その厳しいサブジェクト間変動性によって低下する。 本稿では,音楽聴取時の脳波信号から効率良くパーソナライズされた感情表現を抽出する。 この目的のために,脳波の監督的モダリティとして音楽信号を用い,その意味的対応を共通の表現空間に投影する。 LSTMに基づくアテンションモデルと音楽タギングのための事前訓練されたモデルとを組み合わせ,2つのモダリティの分布を整列させる逆領域判別器を併用し,さらに学習過程を感情タグで制約する。 得られたフレームワークは、脳波入力クエリに関連する音楽サンプルを提供することにより、モダリティまたは間接の両方から教師付き予測を行うことで、感情認識の両方に直接利用できる。 実験結果から、認知目的の刺激情報を通じて神経データを増強する可能性を示し、音楽誘発性感情特徴の分布と時間的変動に関する洞察を得ることができた。

関連論文リスト

• MEEG and AT-DGNN: Improving EEG Emotion Recognition with Music Introducing and Graph-based Learning [3.840859750115109]
  音楽誘発脳波(EEG)記録のマルチモーダルコレクションであるMEEGデータセットについて述べる。 本稿では,脳波に基づく感情認識のための新しいフレームワークである動的グラフニューラルネットワーク(AT-DGNN)を用いた注意に基づく時間学習について紹介する。
  論文  参考訳（メタデータ） (2024-07-08T01:58:48Z)
• R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity [0.12289361708127873]
  音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。 本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
  論文  参考訳（メタデータ） (2024-06-21T17:11:45Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Joint Contrastive Learning with Feature Alignment for Cross-Corpus EEG-based Emotion Recognition [2.1645626994550664]
  我々は,クロスコーパス脳波に基づく感情認識に対処するために,特徴アライメントを用いた新しいコントラスト学習フレームワークを提案する。 事前学習段階では、脳波信号の一般化可能な時間周波数表現を特徴付けるために、共同領域コントラスト学習戦略を導入する。 微調整の段階では、JCFAは脳電極間の構造的接続を考慮した下流タスクと共に洗練される。
  論文  参考訳（メタデータ） (2024-04-15T08:21:17Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• EEGminer: Discovering Interpretable Features of Brain Activity with Learnable Filters [72.19032452642728]
  本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。 我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。 発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2021-10-19T14:22:04Z)
• A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
  脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。 これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
  論文  参考訳（メタデータ） (2020-09-21T02:42:30Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。