論文の概要: Enhancing Affective Representations of Music-Induced EEG through
Multimodal Supervision and latent Domain Adaptation
- arxiv url: http://arxiv.org/abs/2202.09750v1
- Date: Sun, 20 Feb 2022 07:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 12:03:07.284228
- Title: Enhancing Affective Representations of Music-Induced EEG through
Multimodal Supervision and latent Domain Adaptation
- Title(参考訳): マルチモーダル監督と潜在ドメイン適応による音楽誘発脳波の情動表現の増強
- Authors: Kleanthis Avramidis, Christos Garoufis, Athanasia Zlatintsi, Petros
Maragos
- Abstract要約: 脳波の重み付けとして音楽信号を用い,その意味的対応を共通の表現空間に投影することを目的としている。
我々は、LSTMに基づくアテンションモデルと、音楽タギングのための事前訓練されたモデルを組み合わせたバイモーダル・フレームワークと、その2つのモードの分布を整列するリバース・ドメイン・ディミネータを併用して、バイモーダル・フレームワークを利用する。
脳波入力クエリに関連音楽サンプルを提供することにより、モダリティのいずれからも、間接的に、教師付き予測を行うことで、感情認識に利用することができる。
- 参考スコア(独自算出の注目度): 34.726185927120355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of Music Cognition and neural responses to music has been
invaluable in understanding human emotions. Brain signals, though, manifest a
highly complex structure that makes processing and retrieving meaningful
features challenging, particularly of abstract constructs like affect.
Moreover, the performance of learning models is undermined by the limited
amount of available neuronal data and their severe inter-subject variability.
In this paper we extract efficient, personalized affective representations from
EEG signals during music listening. To this end, we employ music signals as a
supervisory modality to EEG, aiming to project their semantic correspondence
onto a common representation space. We utilize a bi-modal framework by
combining an LSTM-based attention model to process EEG and a pre-trained model
for music tagging, along with a reverse domain discriminator to align the
distributions of the two modalities, further constraining the learning process
with emotion tags. The resulting framework can be utilized for emotion
recognition both directly, by performing supervised predictions from either
modality, and indirectly, by providing relevant music samples to EEG input
queries. The experimental findings show the potential of enhancing neuronal
data through stimulus information for recognition purposes and yield insights
into the distribution and temporal variance of music-induced affective
features.
- Abstract(参考訳): 音楽認知と音楽に対する神経反応の研究は人間の感情を理解する上で非常に重要である。
しかし、脳信号は、特に影響のような抽象的な構造において、意味のある特徴の処理と検索を困難にする非常に複雑な構造を示す。
さらに、学習モデルの性能は、利用可能なニューロンデータの限られた量と、その厳しいサブジェクト間変動性によって低下する。
本稿では,音楽聴取時の脳波信号から効率良くパーソナライズされた感情表現を抽出する。
この目的のために,脳波の監督的モダリティとして音楽信号を用い,その意味的対応を共通の表現空間に投影する。
LSTMに基づくアテンションモデルと音楽タギングのための事前訓練されたモデルとを組み合わせ,2つのモダリティの分布を整列させる逆領域判別器を併用し,さらに学習過程を感情タグで制約する。
得られたフレームワークは、脳波入力クエリに関連する音楽サンプルを提供することにより、モダリティまたは間接の両方から教師付き予測を行うことで、感情認識の両方に直接利用できる。
実験結果から、認知目的の刺激情報を通じて神経データを増強する可能性を示し、音楽誘発性感情特徴の分布と時間的変動に関する洞察を得ることができた。
関連論文リスト
- Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳(メタデータ) (2023-07-28T14:51:09Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - EEG2Vec: Learning Affective EEG Representations via Variational
Autoencoders [27.3162026528455]
我々は、感情的な刺激に反応して、潜在ベクトル空間におけるニューラルデータを表現することが、両方の感情状態を予測するのに役立つかどうかを考察する。
脳波データから生成的識別的表現を学習するための条件付き変分オートエンコーダベースのフレームワークであるEEG2Vecを提案する。
論文 参考訳(メタデータ) (2022-07-16T19:25:29Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - EEGminer: Discovering Interpretable Features of Brain Activity with
Learnable Filters [72.19032452642728]
本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。
我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。
発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
論文 参考訳(メタデータ) (2021-10-19T14:22:04Z) - Contrastive Learning of Subject-Invariant EEG Representations for
Cross-Subject Emotion Recognition [9.07006689672858]
本稿では、信頼度の高いクロスオブジェクト感情認識のためのISAのためのコントラスト学習法を提案する。
ISAは、異なる刺激に対して同じ刺激を受けた被験者間での脳波信号の類似性を最大化する。
脳波信号から物体間表現を学習するために,深部空間畳み込み層と時間畳み込み層を有する畳み込みニューラルネットワークを適用した。
論文 参考訳(メタデータ) (2021-09-20T14:13:45Z) - EEG-based Cross-Subject Driver Drowsiness Recognition with an
Interpretable Convolutional Neural Network [0.0]
我々は,新しい畳み込みニューラルネットワークと解釈手法を組み合わせることで,分類の重要な特徴のサンプルワイズ分析を可能にする。
その結果,11名の被験者に対して平均78.35%の精度が得られた。
論文 参考訳(メタデータ) (2021-05-30T14:47:20Z) - Cross-individual Recognition of Emotions by a Dynamic Entropy based on
Pattern Learning with EEG features [2.863100352151122]
複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。
DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
論文 参考訳(メタデータ) (2020-09-26T07:22:07Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳(メタデータ) (2020-09-21T02:42:30Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。