論文の概要: Photo-realistic 360 Head Avatars in the Wild
- arxiv url: http://arxiv.org/abs/2210.11594v1
- Date: Thu, 20 Oct 2022 21:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 15:11:36.864567
- Title: Photo-realistic 360 Head Avatars in the Wild
- Title（参考訳）: 野生の光リアルな360度ヘッドアバター
- Authors: Stanislaw Szymanowicz and Virginia Estellers and Tadas Baltrusaitis
and Matthew Johnson
- Abstract要約: 人間の頭部の360度携帯電話映像からカメラのポーズを推定するために,合成データに基づいて訓練された新しいランドマーク検出法を提案する。
携帯ビデオから学習した360度アバター上で,合成データを用いた検証実験を行い,その有効性を示す。
- 参考スコア（独自算出の注目度）: 9.117750548186917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Delivering immersive, 3D experiences for human communication requires a
method to obtain 360 degree photo-realistic avatars of humans. To make these
experiences accessible to all, only commodity hardware, like mobile phone
cameras, should be necessary to capture the data needed for avatar creation.
For avatars to be rendered realistically from any viewpoint, we require
training images and camera poses from all angles. However, we cannot rely on
there being trackable features in the foreground or background of all images
for use in estimating poses, especially from the side or back of the head. To
overcome this, we propose a novel landmark detector trained on synthetic data
to estimate camera poses from 360 degree mobile phone videos of a human head
for use in a multi-stage optimization process which creates a photo-realistic
avatar. We perform validation experiments with synthetic data and showcase our
method on 360 degree avatars trained from mobile phone videos.
- Abstract（参考訳）: 人間のコミュニケーションに没入的な3d体験を提供するには、360度フォトリアリスティックなアバターを得る方法が必要となる。
これらの体験を誰にでもアクセスできるようにするには、携帯電話カメラのようなコモディティなハードウェアだけが、アバター作成に必要なデータをキャプチャする必要がある。
アバターをあらゆる視点からリアルにレンダリングするには、あらゆる角度からトレーニング画像とカメラのポーズが必要です。
しかし、特に頭部の側面や後方から、ポーズを推定するために、前景やすべての画像の背景に追跡可能な機能があることは、頼りにしません。
そこで本研究では,写真リアルアバターを作成する多段階最適化プロセスにおいて,人間の頭部の360度携帯電話映像からカメラポーズを推定するために,合成データに基づいて訓練された新しいランドマーク検出手法を提案する。
合成データを用いた検証実験を行い,携帯ビデオから訓練した360度アバターについて実験を行った。
関連論文リスト
- WildAvatar: Web-scale In-the-wild Video Dataset for 3D Avatar Creation [55.85887047136534]
WildAvatar(ワイルドアバター)は、YouTubeから抽出されたウェブスケールの人間のアバター生成データセットである。
我々は,アバター作成における現実のアプリケーションにおける未探索課題を,データセット上でいくつかの最先端アバター作成手法を評価した。
論文 参考訳（メタデータ） (2024-07-02T11:17:48Z) - PuzzleAvatar: Assembling 3D Avatars from Personal Albums [54.831084076478874]
我々は,OOTDアルバムから忠実な3Dアバターを生成する新しいモデルであるPuzzleAvatarを開発した。
学習したトークンを“パズルピース”として利用して,忠実でパーソナライズされた3Dアバターを組み立てます。
論文 参考訳（メタデータ） (2024-05-23T17:59:56Z) - Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。
カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。
体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
論文 参考訳（メタデータ） (2024-03-11T16:15:51Z) - 360{\deg} Volumetric Portrait Avatar [20.94425848146312]
モノクロ映像の入力のみをベースとした360度写真リアルな肖像画アバターの再構築手法を提案する。
得られた実世界のデータに対する我々のアプローチを評価し,最先端のモノクル再構成手法との比較を行った。
論文 参考訳（メタデータ） (2023-12-08T19:00:03Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳（メタデータ） (2023-11-22T19:13:00Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - VR Facial Animation for Immersive Telepresence Avatars [25.506570225219406]
VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。
特定の演算子に対して非常に高速な適応が可能なリアルタイム能動パイプラインを提案する。
1分以内でトレーニングできる視線追跡パイプラインを実演します。
論文 参考訳（メタデータ） (2023-04-24T12:43:51Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。