論文の概要: Multi-view Multi-label Fine-grained Emotion Decoding from Human Brain Activity

• arxiv url: http://arxiv.org/abs/2211.02629v1
• Date: Wed, 26 Oct 2022 05:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 23:37:08.998829
• Title: Multi-view Multi-label Fine-grained Emotion Decoding from Human Brain Activity
• Title（参考訳）: ヒト脳活動からの多視点多ラベル微粒感情デコーディング
• Authors: Kaicheng Fu, Changde Du, Shengpei Wang and Huiguang He
• Abstract要約: 人間の脳活動からの感情状態の復号は、脳とコンピュータのインターフェースにおいて重要な役割を果たす。 既存の感情復号法には2つの大きな制限がある。 感情の微粒化のための多視点マルチラベルハイブリッドモデルを提案する。
• 参考スコア（独自算出の注目度）: 9.446422699647625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding emotional states from human brain activity plays an important role in brain-computer interfaces. Existing emotion decoding methods still have two main limitations: one is only decoding a single emotion category from a brain activity pattern and the decoded emotion categories are coarse-grained, which is inconsistent with the complex emotional expression of human; the other is ignoring the discrepancy of emotion expression between the left and right hemispheres of human brain. In this paper, we propose a novel multi-view multi-label hybrid model for fine-grained emotion decoding (up to 80 emotion categories) which can learn the expressive neural representations and predicting multiple emotional states simultaneously. Specifically, the generative component of our hybrid model is parametrized by a multi-view variational auto-encoder, in which we regard the brain activity of left and right hemispheres and their difference as three distinct views, and use the product of expert mechanism in its inference network. The discriminative component of our hybrid model is implemented by a multi-label classification network with an asymmetric focal loss. For more accurate emotion decoding, we first adopt a label-aware module for emotion-specific neural representations learning and then model the dependency of emotional states by a masked self-attention mechanism. Extensive experiments on two visually evoked emotional datasets show the superiority of our method.
• Abstract（参考訳）: 人間の脳活動からの感情状態の復号は、脳-コンピュータインターフェースにおいて重要な役割を果たす。 既存の感情デコーディング法には、2つの大きな制限がある: 1つは脳活動パターンから1つの感情カテゴリをデコードすることであり、デコードされた感情カテゴリは粗い粒度であり、人間の複雑な感情表現と矛盾する。 本稿では,表現型ニューラル表現を学習し,複数の感情状態の同時予測が可能な,きめ細かい感情デコーディング(最大80の感情カテゴリ)のための,新しいマルチビューマルチラベルハイブリッドモデルを提案する。 具体的には、このハイブリッドモデルの生成成分は、左右半球の脳活動とその差異を3つの異なる視点として考えるマルチビュー変動オートエンコーダによってパラメータ化され、その推論ネットワークにおいて専門家機構の産物を使用する。 非対称な焦点損失を有するマルチラベル分類ネットワークにより,ハイブリッドモデルの識別的コンポーネントを実装した。 より正確な感情デコーディングのために、私たちはまず感情固有の神経表現学習のためのラベル認識モジュールを採用し、マスク付き自己認識機構によって感情状態の依存性をモデル化する。 2つの視覚誘発感情データセットに関する広範囲な実験により,提案手法の優越性が示された。

関連論文リスト

• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Multi-label Class Incremental Emotion Decoding with Augmented Emotional Semantics Learning [20.609772647273374]
  インクリメンタルな感情デコーディングのための感情意味学習フレームワークを提案する。 具体的には,過去のラベル問題を扱うために,ラベルの曖昧さを伴う感情関係グラフモジュールを設計する。 感情意味学習モジュールは、感情埋め込みを得るためにグラフオートエンコーダで構成される。
  論文  参考訳（メタデータ） (2024-05-31T03:16:54Z)
• Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
  適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。 提案手法とCAER-Sデータセットの最先端手法を比較した。
  論文  参考訳（メタデータ） (2021-11-03T15:08:55Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Basic and Depression Specific Emotion Identification in Tweets: Multi-label Classification Experiments [1.7699344561127386]
  ツイートにおける基本的・抑うつ的マルチ感情マイニングに関する実証分析を行った。 我々は、感情の4つの高度に評価された心理モデルから、共通の感情からなるハイブリッド感情モデルから、基本的な感情を選択する。 我々は、うつ病の分析においてその重要性から、新たな感情カテゴリーによる感情モデルを強化した。
  論文  参考訳（メタデータ） (2021-05-26T07:13:50Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。