論文の概要: Expressive Telepresence via Modular Codec Avatars
- arxiv url: http://arxiv.org/abs/2008.11789v1
- Date: Wed, 26 Aug 2020 20:16:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 21:55:45.220991
- Title: Expressive Telepresence via Modular Codec Avatars
- Title(参考訳): モジュラーコーデックアバターによる表現的テレプレゼンス
- Authors: Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler, Yaser Sheikh
- Abstract要約: VRテレプレゼンス(VR Telepresence)とは、アバターで表される仮想空間において、他の人間と対話することである。
本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。
MCAは、全体的なモデルを学習されたモジュラー表現に置き換えることで、伝統的なコーデックアバター(CA)を拡張している。
- 参考スコア(独自算出の注目度): 148.212743312768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VR telepresence consists of interacting with another human in a virtual space
represented by an avatar. Today most avatars are cartoon-like, but soon the
technology will allow video-realistic ones. This paper aims in this direction
and presents Modular Codec Avatars (MCA), a method to generate hyper-realistic
faces driven by the cameras in the VR headset. MCA extends traditional Codec
Avatars (CA) by replacing the holistic models with a learned modular
representation. It is important to note that traditional person-specific CAs
are learned from few training samples, and typically lack robustness as well as
limited expressiveness when transferring facial expressions. MCAs solve these
issues by learning a modulated adaptive blending of different facial components
as well as an exemplar-based latent alignment. We demonstrate that MCA achieves
improved expressiveness and robustness w.r.t to CA in a variety of real-world
datasets and practical scenarios. Finally, we showcase new applications in VR
telepresence enabled by the proposed model.
- Abstract(参考訳): vr telepresenceは、アバターで表される仮想空間内の他の人間と対話する。
現在、ほとんどのアバターは漫画的だが、近くこの技術はビデオリアリスティックなものを可能にする。
本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。
mcaは伝統的なコーデックアバター(ca)を拡張し、全体モデルから学習されたモジュラ表現に置き換える。
従来の個人固有のCAは、少数のトレーニングサンプルから学習され、通常、表情の転送時の表現力の制限だけでなく、堅牢性も欠如していることに注意する必要がある。
MCAは、様々な顔成分の適応的なブレンディングと、模範に基づく潜在アライメントを学習することで、これらの問題を解決する。
我々は,MCAが様々な実世界のデータセットや実践シナリオにおいて,CAからCAへの表現性や堅牢性を向上できることを実証した。
最後に,提案モデルによって実現されるvrテレプレゼンスにおける新しいアプリケーションを紹介する。
関連論文リスト
- MoRF: Mobile Realistic Fullbody Avatars from a Monocular Video [7.648034937040346]
移動実写フルボディ(MoRF)アバターを作成するシステムを提案する。
MoRFアバターはモバイルデバイス上でリアルタイムにレンダリングされ、モノクロビデオから学習され、高いリアリズムを持つ。
論文 参考訳(メタデータ) (2023-03-17T23:14:04Z) - AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural
Voxels [33.085274792188756]
動作認識型ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。
アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。
提案したAvatarMAVは、最先端の顔再現法よりもはるかに高速な5分で、フォトリアリスティックな頭部アバターを回収することができる。
論文 参考訳(メタデータ) (2022-11-23T18:49:31Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳(メタデータ) (2022-10-04T19:34:05Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳(メタデータ) (2021-04-10T15:48:53Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳(メタデータ) (2021-04-09T23:17:36Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳(メタデータ) (2021-03-29T18:33:49Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳(メタデータ) (2020-08-11T22:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。