論文の概要: HDHumans: A Hybrid Approach for High-fidelity Digital Humans

• arxiv url: http://arxiv.org/abs/2210.12003v1
• Date: Fri, 21 Oct 2022 14:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 15:19:20.401583
• Title: HDHumans: A Hybrid Approach for High-fidelity Digital Humans
• Title（参考訳）: HDHumans:高忠実度デジタルヒューマンのためのハイブリッドアプローチ
• Authors: Marc Habermann, Lingjie Liu, Weipeng Xu, Gerard Pons-Moll, Michael Zollhoefer, Christian Theobalt
• Abstract要約: HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。 我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
• 参考スコア（独自算出の注目度）: 107.19426606778808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photo-real digital human avatars are of enormous importance in graphics, as they enable immersive communication over the globe, improve gaming and entertainment experiences, and can be particularly beneficial for AR and VR settings. However, current avatar generation approaches either fall short in high-fidelity novel view synthesis, generalization to novel motions, reproduction of loose clothing, or they cannot render characters at the high resolution offered by modern displays. To this end, we propose HDHumans, which is the first method for HD human character synthesis that jointly produces an accurate and temporally coherent 3D deforming surface and highly photo-realistic images of arbitrary novel views and of motions not seen at training time. At the technical core, our method tightly integrates a classical deforming character template with neural radiance fields (NeRF). Our method is carefully designed to achieve a synergy between classical surface deformation and NeRF. First, the template guides the NeRF, which allows synthesizing novel views of a highly dynamic and articulated character and even enables the synthesis of novel motions. Second, we also leverage the dense pointclouds resulting from NeRF to further improve the deforming surface via 3D-to-3D supervision. We outperform the state of the art quantitatively and qualitatively in terms of synthesis quality and resolution, as well as the quality of 3D surface reconstruction.
• Abstract（参考訳）: フォトリアルなデジタルアバターは、世界中の没入型コミュニケーションを可能にし、ゲームやエンターテイメント体験を改善し、ARやVR設定に特に有用であるため、グラフィックにおいて非常に重要である。 しかし、現在のアバター生成アプローチは、高忠実なノベルビュー合成、新しい動きへの一般化、ゆるい衣服の再現、あるいは現代のディスプレイで提供される高解像度のキャラクターのレンダリングに不足する。 そこで本稿では,hd人間合成の最初の手法であるhdhumansを提案する。hd humansは,学習時に見ることのない任意の新しい視点や動きの正確な時間的コヒーレントな3次元変形面と高フォトリアリスティックな画像を同時に生成する。 技術的コアでは,ニューラルネットワーク(nerf)を用いた古典的変形型文字テンプレートを密に統合する。 本手法は, 従来の表面変形とNeRFの相乗効果を実現するために慎重に設計されている。 まず、テンプレートはNeRFをガイドし、非常にダイナミックで明瞭な文字の新規ビューを合成し、新しい動きの合成を可能にする。 第二に、NeRFによる高密度点雲を利用して、3D-to-3Dによる変形面をさらに改善する。 我々は, 合成品質と分解能, 3次元表面再構成の質の観点から, 定量的, 定性的に芸術の状態を上回っている。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• Talk3D: High-Fidelity Talking Portrait Synthesis via Personalized 3D Generative Prior [29.120669908374424]
  本研究では,Talk3Dと呼ばれる新しい音声駆動音声ヘッド合成フレームワークを提案する。 予め訓練された3D認識生成前を効果的に活用することにより、そのもっともらしい顔のジオメトリを忠実に再構築することができる。 提案手法は,既存の手法と比較して,極端な頭部ポーズ下であっても,現実的な顔のジオメトリーの生成に優れる。
  論文  参考訳（メタデータ） (2024-03-29T12:49:40Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
  従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。 異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。 本研究は,人間の頭と上半身の新たな視線を合成する手法である。
  論文  参考訳（メタデータ） (2020-12-17T22:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。