論文の概要: Facial Emotion Recognition in VR Games

• arxiv url: http://arxiv.org/abs/2312.06925v1
• Date: Tue, 12 Dec 2023 01:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:51:07.878394
• Title: Facial Emotion Recognition in VR Games
• Title（参考訳）: VRゲームにおける表情認識
• Authors: Fatemeh Dehghani, Loutfouz Zaman
• Abstract要約: 我々は、畳み込みニューラルネットワーク(CNN)を用いて、目とまぶたがカバーされているフルフェイス画像の感情を予測するモデルを訓練する。 これらの画像のモデルは、怒り、幸福、嫌悪、恐怖、不公平、悲しみ、驚きの7つの異なる感情を正確に認識することができる。 ゲームプレイ中にプレイヤーがどのような感情を経験しているかを理解するために,実験から収集したデータを分析した。
• 参考スコア（独自算出の注目度）: 2.5382095320488665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion detection is a crucial component of Games User Research (GUR), as it allows game developers to gain insights into players' emotional experiences and tailor their games accordingly. However, detecting emotions in Virtual Reality (VR) games is challenging due to the Head-Mounted Display (HMD) that covers the top part of the player's face, namely, their eyes and eyebrows, which provide crucial information for recognizing the impression. To tackle this we used a Convolutional Neural Network (CNN) to train a model to predict emotions in full-face images where the eyes and eyebrows are covered. We used the FER2013 dataset, which we modified to cover eyes and eyebrows in images. The model in these images can accurately recognize seven different emotions which are anger, happiness, disgust, fear, impartiality, sadness and surprise. We assessed the model's performance by testing it on two VR games and using it to detect players' emotions. We collected self-reported emotion data from the players after the gameplay sessions. We analyzed the data collected from our experiment to understand which emotions players experience during the gameplay. We found that our approach has the potential to enhance gameplay analysis by enabling the detection of players' emotions in VR games, which can help game developers create more engaging and immersive game experiences.
• Abstract（参考訳）: 感情検出はゲームユーザリサーチ(GUR)において重要な要素であり、ゲーム開発者はプレイヤーの感情的体験を把握し、ゲームの調整を行うことができる。 しかし、仮想リアリティ(VR)ゲームにおける感情の検出は、プレイヤーの顔の上部、すなわち目とまぶしさをカバーし、印象を認識する上で重要な情報を提供するヘッドマウントディスプレイ(HMD)によって困難である。 これに対処するために、私たちは畳み込みニューラルネットワーク(cnn)を使用して、目とまぶたを覆うフルフェイスイメージの感情を予測するモデルをトレーニングしました。 私たちはFER2013データセットを使用し、画像の目とまぶたをカバーするように修正しました。 これらの画像のモデルは、怒り、幸福、嫌悪、恐怖、公平性、悲しみ、驚きの7つの異なる感情を正確に認識することができる。 2つのVRゲームでテストし、プレイヤーの感情を検出することで、モデルの性能を評価した。 ゲームプレイセッションの後、プレイヤーから自己報告された感情データを収集した。 ゲームプレイ中にプレイヤーが経験する感情を理解するために,実験から収集したデータを分析した。 ゲーム開発者がより魅力的で没入的なゲーム体験を創造するのに役立つVRゲームにおけるプレイヤーの感情の検出を可能にすることで、我々のアプローチはゲームプレイ分析を強化する可能性があることがわかった。

関連論文リスト

• EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays [4.095418032380801]
  EmoHeVRDB (EmojiHeroVR Database) には3,556個のラベル付き顔画像と1,778個の再現された感情が含まれている。 EmojiHeVRDBには、Meta Quest Pro VRヘッドセットを介してキャプチャされた63の表情のアクティベートに関するデータが含まれている。 ベストモデルはテストセットで69.84%の精度を達成した。
  論文  参考訳（メタデータ） (2024-10-04T11:29:04Z)
• EmoFace: Audio-driven Emotional 3D Face Animation [3.573880705052592]
  EmoFaceは、鮮やかな感情的ダイナミクスを備えた顔アニメーションを作成するための、新しいオーディオ駆動の方法論である。 提案手法では,複数の感情で表情を生成でき,ランダムだが自然な点滅や眼球運動を生成できる。 提案手法は、ビデオゲームでプレイ不可能なキャラクターの対話アニメーションを作成し、バーチャルリアリティ環境でアバターを駆動するのに有効である。
  論文  参考訳（メタデータ） (2024-07-17T11:32:16Z)
• Fuzzy Approach for Audio-Video Emotion Recognition in Computer Games for Children [0.0]
  本稿では,音声およびビデオデータの解析を通じて,感情認識のためのファジィアプローチを統合する新しいフレームワークを提案する。 FERデータセットを用いて、ゲーム中に画面から記録された映像フレームの顔の感情を検出する。 ゲーム中に子どもが生み出す音声の感情認識には、CREMA-D, TESS, RAVDESS, Saveeのデータセットを使用する。
  論文  参考訳（メタデータ） (2023-08-31T21:22:00Z)
• EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes [53.95428298229396]
  リッチ属性を付加した最初の大規模視覚感情データセットであるEmoSetを紹介する。 EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。 心理学的な研究によって動機付けられ、感情のカテゴリに加えて、各画像には記述可能な感情特性のセットが注釈付けされている。
  論文  参考訳（メタデータ） (2023-07-16T06:42:46Z)
• Interpretable Explainability in Facial Emotion Recognition and Gamification for Data Collection [0.0]
  顔の感情認識モデルを訓練するには、大量のデータと高価なアノテーションプロセスが必要である。 我々は,人間の明示的なラベル付けを行なわずに,注釈付き顔感情データを取得するゲーミフィケーション手法を開発した。 プレイヤーの表情認知能力と表情能力は,繰り返しゲームプレイによって著しく向上した。
  論文  参考訳（メタデータ） (2022-11-09T09:53:48Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Emotion Recognition From Gait Analyses: Current Research and Future Directions [48.93172413752614]
  歩行はウォーカーの感情に関する情報を伝える 様々な感情と歩行パターンのマッピングは、感情の自動認識のための新しい情報源を提供する。 歩行は遠隔観察可能で 模倣が困難で 被験者との協力も少ない
  論文  参考訳（メタデータ） (2020-03-13T08:22:33Z)
• I Feel I Feel You: A Theory of Mind Experiment in Games [1.857766632829209]
  我々は、人間とコンピュータの相互作用における感情経験として、フラストレーションの認識に焦点を当てる。 本稿では,この目的に合わせたテストベッドゲームを提案する。このゲームでは,プレイヤーが理論に基づくフラストレーションモデルを持つエージェントと競合する。 相関分析と予測機械学習モデルを用いて収集したデータを検証し、プレイヤーの観察可能な感情がエージェントの認識されたフラストレーションと高く相関していないことを確認する。
  論文  参考訳（メタデータ） (2020-01-23T16:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。