論文の概要: Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular
Video
- arxiv url: http://arxiv.org/abs/2312.04784v1
- Date: Fri, 8 Dec 2023 01:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:20:36.109869
- Title: Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular
Video
- Title(参考訳): realityのcanvas、language's brush:モノクロビデオから3dアバターを作る
- Authors: Yuchen Rao, Eduardo Perez Pellitero, Benjamin Busam, Yiren Zhou, Jifei
Song
- Abstract要約: ReCaLabは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。
ポーズ条件付き変形可能なNeRFは、標準T位置において人間の被写体を体積的に表現するように最適化される。
ReCaLabは、新しいポーズレンダリングのタスクのために、最大19倍の同期ビデオを利用するマルチビューメソッドよりも優れています。
- 参考スコア(独自算出の注目度): 15.1704501154433
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in 3D avatar generation excel with multi-view supervision
for photorealistic models. However, monocular counterparts lag in quality
despite broader applicability. We propose ReCaLab to close this gap. ReCaLab is
a fully-differentiable pipeline that learns high-fidelity 3D human avatars from
just a single RGB video. A pose-conditioned deformable NeRF is optimized to
volumetrically represent a human subject in canonical T-pose. The canonical
representation is then leveraged to efficiently associate viewpoint-agnostic
textures using 2D-3D correspondences. This enables to separately generate
albedo and shading which jointly compose an RGB prediction. The design allows
to control intermediate results for human pose, body shape, texture, and
lighting with text prompts. An image-conditioned diffusion model thereby helps
to animate appearance and pose of the 3D avatar to create video sequences with
previously unseen human motion. Extensive experiments show that ReCaLab
outperforms previous monocular approaches in terms of image quality for image
synthesis tasks. ReCaLab even outperforms multi-view methods that leverage up
to 19x more synchronized videos for the task of novel pose rendering. Moreover,
natural language offers an intuitive user interface for creative manipulation
of 3D human avatars.
- Abstract(参考訳): フォトリアリスティックモデルのための多視点監視による3次元アバター生成の最近の進歩
しかし、モノクロ版は幅広い適用性にもかかわらず品質が遅れる。
このギャップを埋めるためにReCaLabを提案する。
ReCaLabは、単一のRGBビデオから高忠実な3Dアバターを学習する、完全に微分可能なパイプラインである。
ポーズ条件付き変形可能なNeRFは、標準T位置において人間の被写体を体積的に表現するように最適化される。
次に、標準表現を利用して、2D-3D対応を用いて視点非依存のテクスチャを効率的に関連付ける。
これにより、RGB予測を共同で構成するアルベドとシェーディングを別々に生成することができる。
このデザインは、人間のポーズ、体の形、テクスチャ、そしてテキストプロンプトによる照明の中間結果を制御できる。
これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えない人間の動きを伴う映像シーケンスを生成する。
大規模な実験により、ReCaLabは画像合成タスクにおける画像品質の観点から、以前の単分子的アプローチよりも優れていることが示された。
recalabは、新しいポーズレンダリングのタスクに最大19倍の同期ビデオを活用するマルチビューメソッドよりも優れています。
さらに、自然言語は3dアバターを創造的に操作するための直感的なユーザーインターフェイスを提供する。
関連論文リスト
- Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [6.629151211202684]
この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。
3次元ガウススプラッティングに基づく最初のアニマタブルな人体モデルを提案する。
本手法は, THuman4データセットの最先端技術よりもPSNR 1.5dbBが優れていることを示す。
論文 参考訳(メタデータ) (2023-11-28T12:05:41Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳(メタデータ) (2023-05-21T17:59:39Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳(メタデータ) (2022-12-16T10:05:31Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳(メタデータ) (2022-10-04T19:34:05Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-08-01T01:27:02Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳(メタデータ) (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。