論文の概要: EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays

• arxiv url: http://arxiv.org/abs/2410.03331v1
• Date: Fri, 4 Oct 2024 11:29:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 22:58:37.989893
• Title: EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays
• Title（参考訳）: EmojiHeroVR:頭部ディスプレイの部分的閉塞下での表情認識に関する研究
• Authors: Thorben Ortmann, Qi Wang, Larissa Putzar,
• Abstract要約: EmoHeVRDB (EmojiHeroVR Database) には3,556個のラベル付き顔画像と1,778個の再現された感情が含まれている。 EmojiHeVRDBには、Meta Quest Pro VRヘッドセットを介してキャプチャされた63の表情のアクティベートに関するデータが含まれている。 ベストモデルはテストセットで69.84%の精度を達成した。
• 参考スコア（独自算出の注目度）: 4.095418032380801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion recognition promotes the evaluation and enhancement of Virtual Reality (VR) experiences by providing emotional feedback and enabling advanced personalization. However, facial expressions are rarely used to recognize users' emotions, as Head-Mounted Displays (HMDs) occlude the upper half of the face. To address this issue, we conducted a study with 37 participants who played our novel affective VR game EmojiHeroVR. The collected database, EmoHeVRDB (EmojiHeroVR Database), includes 3,556 labeled facial images of 1,778 reenacted emotions. For each labeled image, we also provide 29 additional frames recorded directly before and after the labeled image to facilitate dynamic Facial Expression Recognition (FER). Additionally, EmoHeVRDB includes data on the activations of 63 facial expressions captured via the Meta Quest Pro VR headset for each frame. Leveraging our database, we conducted a baseline evaluation on the static FER classification task with six basic emotions and neutral using the EfficientNet-B0 architecture. The best model achieved an accuracy of 69.84% on the test set, indicating that FER under HMD occlusion is feasible but significantly more challenging than conventional FER.
• Abstract（参考訳）: 感情認識は、感情フィードバックを提供し、高度なパーソナライゼーションを可能にすることで、バーチャルリアリティ(VR)体験の評価と向上を促進する。 しかし、HMD(Head-Mounted Displays)は顔の上半分を遮蔽するので、表情はユーザーの感情を認識するために使われることは滅多にない。 この問題に対処するため,新しいVRゲームEmojiHeroVRをプレイした37人の参加者を対象に調査を行った。 収集されたデータベースであるEmoHeVRDB(EmojiHeroVR Database)には、3,556のラベル付き顔画像と1,778の再現された感情が含まれている。 ラベル付き画像ごとに、ラベル付き画像の前後に直接記録された29のフレームも提供し、動的顔表情認識(FER)を容易にする。 さらに、EmoHeVRDBには、フレーム毎にMeta Quest Pro VRヘッドセットを介してキャプチャされた63の表情のアクティベートに関するデータが含まれている。 データベースを利用して,静的FER分類タスクのベースライン評価を行い,6つの基本的な感情と,EfficientNet-B0アーキテクチャを用いた中立性について検討した。 最良のモデルでは、テストセットで69.84%の精度を達成し、HMD閉塞下のFERは従来のFERよりもはるかに困難であることを示した。

関連論文リスト

• ESIQA: Perceptual Quality Assessment of Vision-Pro-based Egocentric Spatial Images [70.68629648595677]
  エゴセントリックな空間画像とビデオは、立体XRコンテンツの魅力的な形態として現れつつある。 エゴセントリック空間画像品質評価データベース(ESIQAD)は、エゴセントリック空間画像専用の最初のIQAデータベースである。 ESIQADには500枚のエゴ中心の空間画像、Apple Vision Proで撮影した400枚の画像、iPhoneの「Spatial Camera」アプリで生成された100枚の画像が含まれている。
  論文  参考訳（メタデータ） (2024-07-31T06:20:21Z)
• Facial Emotion Recognition in VR Games [2.5382095320488665]
  我々は、畳み込みニューラルネットワーク(CNN)を用いて、目とまぶたがカバーされているフルフェイス画像の感情を予測するモデルを訓練する。 これらの画像のモデルは、怒り、幸福、嫌悪、恐怖、不公平、悲しみ、驚きの7つの異なる感情を正確に認識することができる。 ゲームプレイ中にプレイヤーがどのような感情を経験しているかを理解するために,実験から収集したデータを分析した。
  論文  参考訳（メタデータ） (2023-12-12T01:40:14Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Perceptual Quality Assessment of Omnidirectional Images [81.76416696753947]
  16のソース画像と320の歪み画像を含む全方位IQA (OIQA) データベースを最初に構築する。 そして、VR環境におけるOIQAデータベース上で主観的品質評価研究を行う。 原画像と歪んだ全方位画像、主観的品質評価、および頭部と眼の動きデータを合わせてOIQAデータベースを構成する。
  論文  参考訳（メタデータ） (2022-07-06T13:40:38Z)
• EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
  本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。 In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
  論文  参考訳（メタデータ） (2022-04-24T15:58:35Z)
• Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face Presentation Attack Detection [103.7264459186552]
  顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。 ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。 現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
  論文  参考訳（メタデータ） (2021-04-13T12:48:38Z)
• Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions [11.808447247077902]
  本稿では,ジェネリックイメージ中の感情を識別するための特徴に基づくドメイン適応手法を提案する。 これは、事前訓練されたモデルと、画像感情認識(IER)のための十分に注釈付けされたデータセットの限られた可用性の課題に対処する。 提案されたIERシステムは、IAPSaデータセットの60.98%、ArtPhotoデータセットの58.86%、FIデータセットの69.13%、EMOTICデータセットの58.06%の感情分類精度を示した。
  論文  参考訳（メタデータ） (2020-11-17T02:55:16Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning [0.0]
  畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。 しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。 既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-12T20:25:07Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。