論文の概要: Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior

• arxiv url: http://arxiv.org/abs/2503.01610v1
• Date: Mon, 03 Mar 2025 14:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:18:19.134485
• Title: Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior
• Title（参考訳）: Vid2Avatar-Pro:Universal Prior経由の野生ビデオからの認証アバター
• Authors: Chen Guo, Junxuan Li, Yash Kant, Yaser Sheikh, Shunsuke Saito, Chen Cao,
• Abstract要約: Vid2Avatar-Proは、モノクラーインザミルドビデオから、フォトリアリスティックでアニマタブルな3Dアバターを作成する方法である。
• 参考スコア（独自算出の注目度）: 31.780579293685797
• License:
• Abstract: We present Vid2Avatar-Pro, a method to create photorealistic and animatable 3D human avatars from monocular in-the-wild videos. Building a high-quality avatar that supports animation with diverse poses from a monocular video is challenging because the observation of pose diversity and view points is inherently limited. The lack of pose variations typically leads to poor generalization to novel poses, and avatars can easily overfit to limited input view points, producing artifacts and distortions from other views. In this work, we address these limitations by leveraging a universal prior model (UPM) learned from a large corpus of multi-view clothed human performance capture data. We build our representation on top of expressive 3D Gaussians with canonical front and back maps shared across identities. Once the UPM is learned to accurately reproduce the large-scale multi-view human images, we fine-tune the model with an in-the-wild video via inverse rendering to obtain a personalized photorealistic human avatar that can be faithfully animated to novel human motions and rendered from novel views. The experiments show that our approach based on the learned universal prior sets a new state-of-the-art in monocular avatar reconstruction by substantially outperforming existing approaches relying only on heuristic regularization or a shape prior of minimally clothed bodies (e.g., SMPL) on publicly available datasets.
• Abstract（参考訳）: Vid2Avatar-Proは、モノクラーインザミルドビデオから、フォトリアリスティックでアニマタブルな3Dアバターを作成する方法である。 ポーズの多様性と視点の観察が本質的に制限されているため、モノクロビデオから多様なポーズでアニメーションをサポートする高品質なアバターの構築は困難である。 ポーズのバリエーションの欠如は、通常、新しいポーズへの一般化が不十分になり、アバターは入力ビューポイントの制限に容易に適合し、他のビューからアーティファクトや歪みを生み出す。 本研究では,多視点の人間のパフォーマンスキャプチャーデータから得られた普遍的事前モデル(UPM)を活用することで,これらの制約に対処する。 我々は,表現力のある3次元ガウシアンの上に表現を構築し,正準前面と背面の地図をアイデンティティ間で共有する。 UPMが大規模多視点人間の画像の正確な再現を学べば、逆レンダリングによる動画でモデルを微調整し、新しい人間の動きに忠実にアニメーションし、新しい視点からレンダリングできるパーソナライズされたフォトリアリスティックな人間のアバターを得る。 実験の結果,本手法は単分子アバター再構築における新たな最先端の手法であり,既往のアプローチをヒューリスティックな正則化や,最小限の着衣体(SMPLなど)に先行する形状にのみ依存して大幅に上回っていることがわかった。

関連論文リスト

• WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction [51.22641018932625]
  我々はWonderHumanをモノクラービデオから再構成し、高忠実なノベルビューの合成を行う。 提案手法は,与えられたモノクロ映像からフォトリアリスティックなレンダリングを生成する場合のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2025-02-03T04:43:41Z)
• Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
  デアバター(De-Avatar)は、モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元人間のアバターをモデリングするための新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-01-23T02:31:57Z)
• IDOL: Instant Photorealistic 3D Human Creation from a Single Image [47.51400420928373]
  この作業は、データセット、モデル、表現の観点からタスクを再考する。 大規模なHUman中心のGEnerated GEnerated データセットであるHuGe100Kを紹介した。 我々は、与えられた人間の画像から一様空間における3次元ガウス表現を予測するスケーラブルなフィードフォワードトランスフォーマーモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-19T15:43:05Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video [14.140380599168628]
  ReCaLaBは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。 ポーズ条件のNeRFは、人間の対象を標準的T目的で容積的に表現するように最適化される。 これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えなかった人間の動きを伴う映像シーケンスを作成することができる。
  論文  参考訳（メタデータ） (2023-12-08T01:53:06Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
  強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。 我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
  論文  参考訳（メタデータ） (2023-11-27T18:59:04Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。