論文の概要: Occlusion-Robust Multimodal Emotion Recognition in VR via Fusion of Facial Images and EMG

• arxiv url: http://arxiv.org/abs/2609.03569v1
• Date: Thu, 03 Sep 2026 09:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.000213
• Title: Occlusion-Robust Multimodal Emotion Recognition in VR via Fusion of Facial Images and EMG
• Title（参考訳）: 顔画像と筋電図の融合によるVRにおける排他的マルチモーダル感情認識
• Authors: Birgit Nierula, Karam Tomotaki-Dawoud, Mert Akguel, Mustafa Tevfik Lafci, David Przewozny, Anna Hilsmann, Peter Eisert, Sebastian Bosse,
• Abstract要約: ヘッドマウントディスプレイ(HMD)は、仮想現実(VR)における感情認識を根本的に制限する この課題に対処するために、顔上面から顔筋電図(EMG)を融合させて7つの感情カテゴリー(6つの基本的な感情+中立性)を分類する。 被験者20名による同期型マルチモーダルデータセットを導入し,評価された感情刺激によって引き起こされた7チャンネル上面EMGと下面ビデオのペアリングを行った。
• 参考スコア（独自算出の注目度）: 8.520211823360826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Head-mounted displays (HMDs) fundamentally limit emotion recognition in virtual reality (VR): by occluding the upper face, they render conventional image-based facial expression analysis incomplete, particularly for applications requiring real-time affective assessment. We address this challenge by fusing lower-face video with facial electromyography (EMG) from the occluded upper face to classify seven emotional categories (six basic emotions plus neutral). We introduce a synchronized multimodal dataset from 20 participants, pairing lower-face video with seven-channel upper-face EMG elicited by validated emotion stimuli. Under subject-independent test, our proposed late-fusion architecture merging convolutional visual embeddings with RBF-kernel EMG representations achieves 51% macro-F1, outperforming both image-only (41%) and EMG-only (43%) baselines. These results demonstrate that upper-face EMG provides robust complementary information under HMD-induced visual occlusion and establish a foundation for multimodal emotion recognition in naturalistic VR environments. This approach facilitates affect-adaptive applications, including communication training and therapeutic interventions. The dataset will be shared upon request under an ethical-use agreement.
• Abstract（参考訳）: ヘッドマウントディスプレイ(HMD)は、バーチャルリアリティー(VR)における感情認識を根本的に制限する。 この課題に対処するため,顔上面から顔筋電図(EMG)を融合させて7つの感情カテゴリー(6つの基本的な感情+中性感情)を分類した。 被験者20名による同期型マルチモーダルデータセットを導入し,評価された感情刺激によって引き起こされた7チャンネル上面EMGと下面ビデオのペアリングを行った。 画像のみ(41%)とEMGのみ(43%)のベースラインを上回る51%のマクロF1が得られる。 以上の結果から,上面筋電図はHMDによる視覚遮断下での堅牢な相補的情報を提供し,自然主義VR環境におけるマルチモーダル感情認識の基礎を築いた。 このアプローチは、コミュニケーショントレーニングや治療介入を含む、感情適応的な応用を促進する。 データセットは倫理的使用に関する合意のもと、要求に応じて共有される。

関連論文リスト

• What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment [16.54359569394021]
  脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。 提案手法は,物体内部設定において54.8%のTop-1,85.6%のTop-5,クロスオブジェクト設定では15.3%のTop-1,45.4%のTop-5の精度を有する。
  論文  参考訳（メタデータ） (2026-06-24T11:33:21Z)
• Adaptive Physical-Facial Representation Fusion via Subject-Invariant Cross-Modal Prompt Tuning for Video-Based Emotion Recognition [14.850489141041017]
  映像に基づく感情認識のためのクロスモーダルなクロスチューニングプロンプトチューニング手法を提案する。 提案手法は、認識精度と一般化能力の両方において、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-07T05:33:31Z)
• Smile on the Face, Sadness in the Eyes: Bridging the Emotion Gap with a Multimodal Dataset of Eye and Facial Behaviors [49.833812625518554]
  視覚行動は重要な感情的手がかりとして導入され、視覚行動支援マルチモーダル感情認識データセットを構築する。 実験では,EMERデータセットの総合的な評価のために,7つのマルチモーダルベンチマークプロトコルを導入する。 その結果、EMERTは、他の最先端のマルチモーダル手法よりも優れた性能を示し、ロバストERに対する目の動きのモデリングの重要性を明らかにした。
  論文  参考訳（メタデータ） (2025-12-18T12:52:55Z)
• Unimodal and Multimodal Static Facial Expression Recognition for Virtual Reality Users with EmoHeVRDB [4.095418032380801]
  そこで我々は,顔表情認識(FER)のためのMeta Quest Pro Virtual Reality(VR)ヘッドセットを用いて取得した表情アクティベーション(FEA)をVR環境で活用する可能性を検討した。 その結果, 静的FERタスクに対して最大73.02%の精度を7つの感情カテゴリーで達成した。 我々は、FEAと画像データをマルチモーダルアプローチに統合し、認識精度の大幅な改善を観察した。
  論文  参考訳（メタデータ） (2024-12-15T20:49:46Z)
• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays [4.095418032380801]
  EmoHeVRDB (EmojiHeroVR Database) には3,556個のラベル付き顔画像と1,778個の再現された感情が含まれている。 EmojiHeVRDBには、Meta Quest Pro VRヘッドセットを介してキャプチャされた63の表情のアクティベートに関するデータが含まれている。 ベストモデルはテストセットで69.84%の精度を達成した。
  論文  参考訳（メタデータ） (2024-10-04T11:29:04Z)
• Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
  28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。 このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。 本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:01:22Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions [11.808447247077902]
  本稿では,ジェネリックイメージ中の感情を識別するための特徴に基づくドメイン適応手法を提案する。 これは、事前訓練されたモデルと、画像感情認識(IER)のための十分に注釈付けされたデータセットの限られた可用性の課題に対処する。 提案されたIERシステムは、IAPSaデータセットの61.86%、ArtPhotoデータセットの62.47、FIデータセットの70.78%、EMOTICデータセットの59.72%の感情分類精度を示した。
  論文  参考訳（メタデータ） (2020-11-17T02:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。