論文の概要: Facial Expression Recognition Under Partial Occlusion from Virtual
Reality Headsets based on Transfer Learning
- arxiv url: http://arxiv.org/abs/2008.05563v1
- Date: Wed, 12 Aug 2020 20:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 05:40:52.981536
- Title: Facial Expression Recognition Under Partial Occlusion from Virtual
Reality Headsets based on Transfer Learning
- Title（参考訳）: トランスファー学習に基づく仮想現実ヘッドセットによる部分閉塞時の表情認識
- Authors: Bita Houshmand, Naimul Khan
- Abstract要約: 畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。
しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。
既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial expressions of emotion are a major channel in our daily
communications, and it has been subject of intense research in recent years. To
automatically infer facial expressions, convolutional neural network based
approaches has become widely adopted due to their proven applicability to
Facial Expression Recognition (FER) task.On the other hand Virtual Reality (VR)
has gained popularity as an immersive multimedia platform, where FER can
provide enriched media experiences. However, recognizing facial expression
while wearing a head-mounted VR headset is a challenging task due to the upper
half of the face being completely occluded. In this paper we attempt to
overcome these issues and focus on facial expression recognition in presence of
a severe occlusion where the user is wearing a head-mounted display in a VR
setting. We propose a geometric model to simulate occlusion resulting from a
Samsung Gear VR headset that can be applied to existing FER datasets. Then, we
adopt a transfer learning approach, starting from two pretrained networks,
namely VGG and ResNet. We further fine-tune the networks on FER+ and RAF-DB
datasets. Experimental results show that our approach achieves comparable
results to existing methods while training on three modified benchmark datasets
that adhere to realistic occlusion resulting from wearing a commodity VR
headset. Code for this paper is available at:
https://github.com/bita-github/MRP-FER
- Abstract（参考訳）: 感情の表情は私たちの日常コミュニケーションにおいて主要なチャネルであり、近年は激しい研究の対象となっている。
表情の自動推論には,表情認識(fer)タスクの適用性が証明されたことから,畳み込みニューラルネットワークに基づくアプローチが広く採用されている。一方,仮想現実(vr)は没入型マルチメディアプラットフォームとして人気を博し,ferがメディアエクスペリエンスの充実を図っている。
しかし、ヘッドマウントvrヘッドセットを装着しながら表情を認識することは、顔の上半分が完全にオクルードされているため、難しい課題である。
本稿では,これらの問題を克服し,ユーザがVR環境においてヘッドマウントディスプレイを装着している状況において,表情認識に焦点をあてる。
既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
次に、VGGとResNetという2つの事前学習ネットワークから始まる転送学習アプローチを採用する。
さらに、FER+およびRAF-DBデータセット上のネットワークを微調整します。
実験の結果,VRヘッドセットの装着による現実的な閉塞に順応する3つのベンチマークデータセットをトレーニングしながら,既存の手法と同等の結果が得られた。
この論文のコードは、https://github.com/bita-github/mrp-ferで入手できる。
関連論文リスト
- EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays [4.095418032380801]
EmoHeVRDB (EmojiHeroVR Database) には3,556個のラベル付き顔画像と1,778個の再現された感情が含まれている。
EmojiHeVRDBには、Meta Quest Pro VRヘッドセットを介してキャプチャされた63の表情のアクティベートに関するデータが含まれている。
ベストモデルはテストセットで69.84%の精度を達成した。
論文 参考訳（メタデータ） (2024-10-04T11:29:04Z) - GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face
Synthesis [62.297513028116576]
GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。
ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
論文 参考訳（メタデータ） (2023-01-31T05:56:06Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳（メタデータ） (2022-10-03T20:51:25Z) - Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。
顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。
Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
論文 参考訳（メタデータ） (2022-07-22T17:55:39Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳（メタデータ） (2021-04-10T15:48:53Z) - Real or Virtual? Using Brain Activity Patterns to differentiate Attended
Targets during Augmented Reality Scenarios [10.739605873338592]
Augmented Realityシナリオで収集した脳波(EEG)データを機械学習技術を用いて分類します。
浅い畳み込みニューラルネットは、20人の参加者から3秒のデータウィンドウを人によって分類した。
論文 参考訳（メタデータ） (2021-01-12T19:08:39Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。