論文の概要: VR Based Emotion Recognition Using Deep Multimodal Fusion With Biosignals Across Multiple Anatomical Domains

• arxiv url: http://arxiv.org/abs/2412.02283v1
• Date: Tue, 03 Dec 2024 08:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:02.280521
• Title: VR Based Emotion Recognition Using Deep Multimodal Fusion With Biosignals Across Multiple Anatomical Domains
• Title（参考訳）: 複数の解剖領域にまたがる生体信号を用いた深層マルチモーダルフュージョンを用いたVRによる感情認識
• Authors: Pubudu L. Indrasiri, Bipasha Kashyap, Chandima Kolambahewage, Bahareh Nakisa, Kiran Ijaz, Pubudu N. Pathirana,
• Abstract要約: 本稿では,Squeeze-and-Excitation(SE)ブロックと組み合わせた,新しいマルチスケールアテンションベースのLSTMアーキテクチャを提案する。 提案したアーキテクチャは,ユーザスタディで検証され,評価値と覚醒レベルを分類する上で,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 3.303674512749726
• License:
• Abstract: Emotion recognition is significantly enhanced by integrating multimodal biosignals and IMU data from multiple domains. In this paper, we introduce a novel multi-scale attention-based LSTM architecture, combined with Squeeze-and-Excitation (SE) blocks, by leveraging multi-domain signals from the head (Meta Quest Pro VR headset), trunk (Equivital Vest), and peripheral (Empatica Embrace Plus) during affect elicitation via visual stimuli. Signals from 23 participants were recorded, alongside self-assessed valence and arousal ratings after each stimulus. LSTM layers extract features from each modality, while multi-scale attention captures fine-grained temporal dependencies, and SE blocks recalibrate feature importance prior to classification. We assess which domain's signals carry the most distinctive emotional information during VR experiences, identifying key biosignals contributing to emotion detection. The proposed architecture, validated in a user study, demonstrates superior performance in classifying valance and arousal level (high / low), showcasing the efficacy of multi-domain and multi-modal fusion with biosignals (e.g., TEMP, EDA) with IMU data (e.g., accelerometer) for emotion recognition in real-world applications.
• Abstract（参考訳）: 感情認識は、複数のドメインからのマルチモーダルバイオシグナーとIMUデータを統合することで大幅に強化される。 本稿では、頭部(Meta Quest Pro VRヘッドセット)、トランク(Equivital Vest)、周辺(Empatica Embrace Plus)からのマルチドメイン信号を利用して、視覚刺激による刺激を誘発する新しいマルチスケールアテンションベースのLSTMアーキテクチャを提案する。 23名の被験者の信号が,刺激後の自己評価値と覚醒評価とともに記録された。 LSTM層は各モードから特徴を抽出し、マルチスケールの注意は微粒な時間依存性を捉え、SEブロックは分類に先立って特徴の重要性を再検討する。 我々は、どのドメインの信号がVR体験中に最も特徴的な感情情報を持ち、感情検出に寄与する重要な生体信号を特定するかを評価する。 提案アーキテクチャは,生体信号(例えばTEMP,EDA)とIMUデータ(例えば加速度計)とのマルチドメイン・マルチモーダル融合の有効性を示した。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks [0.0]
  本研究では、Long Short-Term Memory (LSTM) ネットワークを用いて脳波信号を解析することにより、感情状態分類の予測精度を向上することを目的とする。 DEAPとして知られる多チャンネル脳波記録の一般的なデータセットを用いて、LSTMネットワークの特性を活用して、脳波信号データ内の時間的依存関係を処理する。 感情認識モデルの能力は, それぞれ89.89%, 90.33%, 90.70%, 90.54%であった。
  論文  参考訳（メタデータ） (2024-08-19T18:10:47Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• TACOformer:Token-channel compounded Cross Attention for Multimodal Emotion Recognition [0.951828574518325]
  本稿では,チャネルレベルとトークンレベルの相互通信を統合したマルチモーダル融合の包括的視点を提案する。 具体的には,Token-chAnnel Compound (TACO) Cross Attentionというクロスアテンションモジュールを導入する。 また,脳波信号チャネルの空間分布に関する情報を保存するための2次元位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:28:12Z)
• A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition [72.36055502078193]
  本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。 データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。 提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
  論文  参考訳（メタデータ） (2023-03-14T16:08:45Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition [7.559720049837459]
  本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。 具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。 実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-04T18:40:32Z)
• Deep Auto-Encoders with Sequential Learning for Multimodal Dimensional Emotion Recognition [38.350188118975616]
  本稿では、2ストリームのオートエンコーダと、感情認識のための長期記憶からなる新しいディープニューラルネットワークアーキテクチャを提案する。 野生データセットRECOLAにおけるマルチモーダル感情に関する広範な実験を行った。 実験の結果,提案手法は最先端の認識性能を達成し,既存のスキームをはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-04-28T01:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。