論文の概要: Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality

• arxiv url: http://arxiv.org/abs/2104.04794v1
• Date: Sat, 10 Apr 2021 15:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:14:50.420533
• Title: Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
• Title（参考訳）: 仮想現実のためのロバストなエゴセントリックフォトリアリスティックな表情伝達
• Authors: Amin Jourabloo, Fernando De la Torre, Jason Saragih, Shih-En Wei, Te-Li Wang, Stephen Lombardi, Danielle Belko, Autumn Trimble, Hernan Badino
• Abstract要約: ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
• 参考スコア（独自算出の注目度）: 68.18446501943585
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Social presence, the feeling of being there with a real person, will fuel the next generation of communication systems driven by digital humans in virtual reality (VR). The best 3D video-realistic VR avatars that minimize the uncanny effect rely on person-specific (PS) models. However, these PS models are time-consuming to build and are typically trained with limited data variability, which results in poor generalization and robustness. Major sources of variability that affects the accuracy of facial expression transfer algorithms include using different VR headsets (e.g., camera configuration, slop of the headset), facial appearance changes over time (e.g., beard, make-up), and environmental factors (e.g., lighting, backgrounds). This is a major drawback for the scalability of these models in VR. This paper makes progress in overcoming these limitations by proposing an end-to-end multi-identity architecture (MIA) trained with specialized augmentation strategies. MIA drives the shape component of the avatar from three cameras in the VR headset (two eyes, one mouth), in untrained subjects, using minimal personalized information (i.e., neutral 3D mesh shape). Similarly, if the PS texture decoder is available, MIA is able to drive the full avatar (shape+texture) robustly outperforming PS models in challenging scenarios. Our key contribution to improve robustness and generalization, is that our method implicitly decouples, in an unsupervised manner, the facial expression from nuisance factors (e.g., headset, environment, facial appearance). We demonstrate the superior performance and robustness of the proposed method versus state-of-the-art PS approaches in a variety of experiments.
• Abstract（参考訳）: ソーシャルな存在感は、現実の人といるという感覚が、バーチャルリアリティ(vr)でデジタル人間によって駆動される次世代のコミュニケーションシステムを刺激する。 最高の3dビデオリアルなvrアバターは、人固有の(ps)モデルに依存している。 しかし、これらのPSモデルは構築に時間がかかり、典型的には限られたデータ可変性で訓練される。 表情伝達アルゴリズムの精度に影響を与える変数の主な要因は、異なるVRヘッドセット(例えば、カメラの設定、ヘッドセットの傾斜)の使用、時間の経過とともに顔の外観の変化(例えば、ひげ、メイクアップ)、環境要因(例えば、照明、背景)である。 これは、VRにおけるこれらのモデルのスケーラビリティの大きな欠点である。 本稿では,拡張戦略を訓練したエンドツーエンドのマルチアイデンティティアーキテクチャ(MIA)を提案することにより,これらの制限を克服する。 MIAは、最小限のパーソナライズされた情報(中性3Dメッシュ形状)を用いて、VRヘッドセット(2つの目と1つの口)の3つのカメラからアバターの形状成分を訓練されていない被験者に駆動する。 同様に、PSテクスチャデコーダが利用可能であれば、MIAは挑戦的なシナリオでPSモデルより頑丈に優れたフルアバター(シェープ+テクスチャ)を駆動することができる。 頑健さと一般化を改善するための重要な貢献は、我々の手法が、無監督の方法で、迷惑要因(例えばヘッドセット、環境、顔の外観)から顔の表情を暗黙的に分離することです。 種々の実験において,提案手法と最先端PS手法の優れた性能とロバスト性を示す。

関連論文リスト

• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Expressive Telepresence via Modular Codec Avatars [148.212743312768]
  VRテレプレゼンス(VR Telepresence)とは、アバターで表される仮想空間において、他の人間と対話することである。 本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。 MCAは、全体的なモデルを学習されたモジュラー表現に置き換えることで、伝統的なコーデックアバター(CA)を拡張している。
  論文  参考訳（メタデータ） (2020-08-26T20:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。