論文の概要: HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars

• arxiv url: http://arxiv.org/abs/2112.10203v1
• Date: Sun, 19 Dec 2021 17:34:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 04:50:31.100291
• Title: HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars
• Title（参考訳）: HVTR:ヒトアバター用ハイブリッドボリュームアートレンダリング
• Authors: Tao Hu, Tao Yu, Zerong Zheng, He Zhang, Yebin Liu, Matthias Zwicker
• Abstract要約: 本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
• 参考スコア（独自算出の注目度）: 65.82222842213577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel neural rendering pipeline, Hybrid Volumetric-Textural Rendering (HVTR), which synthesizes virtual human avatars from arbitrary poses efficiently and at high quality. First, we learn to encode articulated human motions on a dense UV manifold of the human body surface. To handle complicated motions (e.g., self-occlusions), we then leverage the encoded information on the UV manifold to construct a 3D volumetric representation based on a dynamic pose-conditioned neural radiance field. While this allows us to represent 3D geometry with changing topology, volumetric rendering is computationally heavy. Hence we employ only a rough volumetric representation using a pose-conditioned downsampled neural radiance field (PD-NeRF), which we can render efficiently at low resolutions. In addition, we learn 2D textural features that are fused with rendered volumetric features in image space. The key advantage of our approach is that we can then convert the fused features into a high resolution, high-quality avatar by a fast GAN-based textural renderer. We demonstrate that hybrid rendering enables HVTR to handle complicated motions, render high-quality avatars under user-controlled poses/shapes and even loose clothing, and most importantly, be fast at inference time. Our experimental results also demonstrate state-of-the-art quantitative results.
• Abstract（参考訳）: 任意のポーズから仮想人間のアバターを効率よく高品質に合成するニューラルレンダリングパイプラインHVTR(Hybrid Volumetric-Textural Rendering)を提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 複雑な動き(例えば自己閉塞)を扱うために、UV多様体上の符号化された情報を活用し、動的ポーズ条件のニューラル放射場に基づく3次元体積表現を構築する。 これにより、トポロジーを変更することで3dジオメトリを表現できるが、ボリュームレンダリングは計算量的に重い。 そこで我々は,低解像度で効率よくレンダリングできる,ポーズ条件付きダウンサンプリング型ニューラル放射場(PD-NeRF)を用いて,粗い体積表現のみを用いる。 さらに,画像空間にレンダリングされたボリューム特徴と融合した2次元テクスチャ特徴を学習する。 このアプローチの主な利点は、高速なGANベースのテキストレンダラーにより、融合した特徴を高解像度で高品質なアバターに変換することができることである。 ハイブリッドレンダリングによって,hvtrは複雑な動きを処理でき,ユーザの操作したポーズや形,あるいはゆるい衣服の下で高品質のアバターをレンダリングできる。 実験結果はまた,最先端の定量的結果を示した。

関連論文リスト

• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。