論文の概要: Fast Registration of Photorealistic Avatars for VR Facial Animation
- arxiv url: http://arxiv.org/abs/2401.11002v1
- Date: Fri, 19 Jan 2024 19:42:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 18:29:52.015982
- Title: Fast Registration of Photorealistic Avatars for VR Facial Animation
- Title(参考訳): VR顔アニメーションのためのフォトリアリスティックアバターの高速登録
- Authors: Chaitanya Patel, Shaojie Bai, Te-Li Wang, Jason Saragih, Shih-En Wei
- Abstract要約: オフライン環境では、ヘッドセット搭載カメラ(HMC)画像に対する人固有のアバターの高品質な登録が可能となる。
斜めカメラビューとモダリティの違いにより、オンライン登録も困難である。
1)ドメイン内の入力を受信する反復リファインメントモジュール,2)一般的なアバター誘導イメージ・ツー・イメージ・トランスファーモジュールの2つの部分に分割するシステム設計を開発する。
- 参考スコア(独自算出の注目度): 15.639404610678543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtual Reality (VR) bares promise of social interactions that can feel more
immersive than other media. Key to this is the ability to accurately animate a
photorealistic avatar of one's likeness while wearing a VR headset. Although
high quality registration of person-specific avatars to headset-mounted camera
(HMC) images is possible in an offline setting, the performance of generic
realtime models are significantly degraded. Online registration is also
challenging due to oblique camera views and differences in modality. In this
work, we first show that the domain gap between the avatar and headset-camera
images is one of the primary sources of difficulty, where a transformer-based
architecture achieves high accuracy on domain-consistent data, but degrades
when the domain-gap is re-introduced. Building on this finding, we develop a
system design that decouples the problem into two parts: 1) an iterative
refinement module that takes in-domain inputs, and 2) a generic avatar-guided
image-to-image style transfer module that is conditioned on current estimation
of expression and head pose. These two modules reinforce each other, as image
style transfer becomes easier when close-to-ground-truth examples are shown,
and better domain-gap removal helps registration. Our system produces
high-quality results efficiently, obviating the need for costly offline
registration to generate personalized labels. We validate the accuracy and
efficiency of our approach through extensive experiments on a commodity
headset, demonstrating significant improvements over direct regression methods
as well as offline registration.
- Abstract(参考訳): バーチャルリアリティ(VR)は、他のメディアよりも没入感のあるソーシャルインタラクションを約束する。
これの鍵となるのは、VRヘッドセットを着用している間、写実的なアバターを正確にアニメーションできることだ。
オフライン環境では、ヘッドセット搭載カメラ(hmc)画像に対する個人固有のアバターの高品質な登録が可能であるが、汎用リアルタイムモデルの性能は著しく低下している。
斜めカメラビューとモダリティの違いにより、オンライン登録も困難である。
本研究では,まず,アバターとヘッドセットカメラ画像の領域ギャップが,トランスフォーマーベースのアーキテクチャがドメイン一貫性データに対して高い精度で達成されるが,ドメインギャップが再導入されると劣化することを示す。
この知見に基づいて,問題を2つの部分に分割するシステム設計を考案する。
1)ドメイン内の入力を受信する反復リファインメントモジュール、及び
2) 表情と頭部ポーズの現在の推定を条件とした一般的なアバター誘導画像移動モジュール。
これらの2つのモジュールは互いに強化し合っており、近距離の例を示すと画像スタイル転送が容易になり、ドメインギャップの除去が登録に役立ちます。
提案システムは高品質な結果を効率よく生成し,パーソナライズされたラベルを生成するために,コストのかかるオフライン登録の必要性を回避する。
我々は,商品ヘッドセットを用いた広範囲な実験を通じて,アプローチの精度と効率を検証し,直接回帰法やオフライン登録法よりも大幅に改善した。
関連論文リスト
- GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。
提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
論文 参考訳(メタデータ) (2024-01-18T18:56:34Z) - Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。
本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。
ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
論文 参考訳(メタデータ) (2023-08-04T10:28:48Z) - Auto-CARD: Efficient and Robust Codec Avatar Driving for Real-time
Mobile Telepresence [27.763047709846713]
我々は,Codec Avatarのリアルタイムかつ堅牢な運転を可能にするAuto-CARDというフレームワークを提案する。
評価のために、リアルタイムのCodec Avatar駆動設定におけるAuto-CARDフレームワークの有効性を示す。
論文 参考訳(メタデータ) (2023-04-24T05:45:12Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳(メタデータ) (2023-04-12T06:49:56Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-04T08:49:51Z) - Multi-Objective Dual Simplex-Mesh Based Deformable Image Registration
for 3D Medical Images -- Proof of Concept [0.7734726150561088]
本研究は,単純なメッシュに基づく3次元デュアルダイナミックグリッド変換モデルを用いて,多目的3次元変形可能な画像登録のための最初の手法を提案する。
概念実証プロトタイプは, 総合的, 臨床的な3D登録問題に対して有望な結果を示した。
論文 参考訳(メタデータ) (2022-02-22T16:07:29Z) - A low-rank representation for unsupervised registration of medical
images [10.499611180329804]
本稿では,低ランク表現,すなわちRegnet-LRRに基づく新しい手法を提案する。
低ランク表現は、モデルの能力と堅牢性を高め、ノイズの多いデータ登録シナリオにおいて大幅な改善をもたらすことを示す。
論文 参考訳(メタデータ) (2021-05-20T07:04:10Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳(メタデータ) (2021-04-10T15:48:53Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳(メタデータ) (2021-04-09T23:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。