論文の概要: HDHumans: A Hybrid Approach for High-fidelity Digital Humans
- arxiv url: http://arxiv.org/abs/2210.12003v1
- Date: Fri, 21 Oct 2022 14:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 15:19:20.401583
- Title: HDHumans: A Hybrid Approach for High-fidelity Digital Humans
- Title(参考訳): HDHumans:高忠実度デジタルヒューマンのためのハイブリッドアプローチ
- Authors: Marc Habermann, Lingjie Liu, Weipeng Xu, Gerard Pons-Moll, Michael
Zollhoefer, Christian Theobalt
- Abstract要約: HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。
我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
- 参考スコア(独自算出の注目度): 107.19426606778808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Photo-real digital human avatars are of enormous importance in graphics, as
they enable immersive communication over the globe, improve gaming and
entertainment experiences, and can be particularly beneficial for AR and VR
settings. However, current avatar generation approaches either fall short in
high-fidelity novel view synthesis, generalization to novel motions,
reproduction of loose clothing, or they cannot render characters at the high
resolution offered by modern displays. To this end, we propose HDHumans, which
is the first method for HD human character synthesis that jointly produces an
accurate and temporally coherent 3D deforming surface and highly
photo-realistic images of arbitrary novel views and of motions not seen at
training time. At the technical core, our method tightly integrates a classical
deforming character template with neural radiance fields (NeRF). Our method is
carefully designed to achieve a synergy between classical surface deformation
and NeRF. First, the template guides the NeRF, which allows synthesizing novel
views of a highly dynamic and articulated character and even enables the
synthesis of novel motions. Second, we also leverage the dense pointclouds
resulting from NeRF to further improve the deforming surface via 3D-to-3D
supervision. We outperform the state of the art quantitatively and
qualitatively in terms of synthesis quality and resolution, as well as the
quality of 3D surface reconstruction.
- Abstract(参考訳): フォトリアルなデジタルアバターは、世界中の没入型コミュニケーションを可能にし、ゲームやエンターテイメント体験を改善し、ARやVR設定に特に有用であるため、グラフィックにおいて非常に重要である。
しかし、現在のアバター生成アプローチは、高忠実なノベルビュー合成、新しい動きへの一般化、ゆるい衣服の再現、あるいは現代のディスプレイで提供される高解像度のキャラクターのレンダリングに不足する。
そこで本稿では,hd人間合成の最初の手法であるhdhumansを提案する。hd humansは,学習時に見ることのない任意の新しい視点や動きの正確な時間的コヒーレントな3次元変形面と高フォトリアリスティックな画像を同時に生成する。
技術的コアでは,ニューラルネットワーク(nerf)を用いた古典的変形型文字テンプレートを密に統合する。
本手法は, 従来の表面変形とNeRFの相乗効果を実現するために慎重に設計されている。
まず、テンプレートはNeRFをガイドし、非常にダイナミックで明瞭な文字の新規ビューを合成し、新しい動きの合成を可能にする。
第二に、NeRFによる高密度点雲を利用して、3D-to-3Dによる変形面をさらに改善する。
我々は, 合成品質と分解能, 3次元表面再構成の質の観点から, 定量的, 定性的に芸術の状態を上回っている。
関連論文リスト
- Towards 4D Human Video Stylization [56.33756124829298]
本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。
我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。
我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
論文 参考訳(メタデータ) (2023-12-07T08:58:33Z) - Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [6.629151211202684]
この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。
3次元ガウススプラッティングに基づく最初のアニマタブルな人体モデルを提案する。
本手法は, THuman4データセットの最先端技術よりもPSNR 1.5dbBが優れていることを示す。
論文 参考訳(メタデータ) (2023-11-28T12:05:41Z) - Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple
Human Avatars [19.90509999642198]
入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。
新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間,レンダリング速度,再現性において既存手法よりも優れる。
本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
論文 参考訳(メタデータ) (2023-11-27T08:17:09Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z) - SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。
本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
論文 参考訳(メタデータ) (2023-03-22T17:59:12Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳(メタデータ) (2022-09-15T15:28:45Z) - Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。
異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。
本研究は,人間の頭と上半身の新たな視線を合成する手法である。
論文 参考訳(メタデータ) (2020-12-17T22:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。