Fugu-MT 論文翻訳(概要): Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent Synthetic Images

論文の概要: Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent Synthetic Images

arxiv url: http://arxiv.org/abs/2311.16499v1
Date: Mon, 27 Nov 2023 15:49:41 GMT
ステータス: 処理完了
システム内更新日: 2023-11-29 20:16:17.167101
Title: Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent Synthetic Images
Title（参考訳）: 知覚Human:3次元連続合成画像を用いたPrompt-to-NeRF3Dヒューマンジェネレーション
Authors: Shiu-hong Kao, Xinhang Liu, Yu-Wing Tai, Chi-Keung Tang
Abstract要約: Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
参考スコア（独自算出の注目度）: 67.31920821192323
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents Deceptive-Human, a novel Prompt-to-NeRF framework capitalizing state-of-the-art control diffusion models (e.g., ControlNet) to generate a high-quality controllable 3D human NeRF. Different from direct 3D generative approaches, e.g., DreamFusion and DreamHuman, Deceptive-Human employs a progressive refinement technique to elevate the reconstruction quality. This is achieved by utilizing high-quality synthetic human images generated through the ControlNet with view-consistent loss. Our method is versatile and readily extensible, accommodating multimodal inputs, including a text prompt and additional data such as 3D mesh, poses, and seed images. The resulting 3D human NeRF model empowers the synthesis of highly photorealistic novel views from 360-degree perspectives. The key to our Deceptive-Human for hallucinating multi-view consistent synthetic human images lies in our progressive finetuning strategy. This strategy involves iteratively enhancing views using the provided multimodal inputs at each intermediate step to improve the human NeRF model. Within this iterative refinement process, view-dependent appearances are systematically eliminated to prevent interference with the underlying density estimation. Extensive qualitative and quantitative experimental comparison shows that our deceptive human models achieve state-of-the-art application quality.
Abstract（参考訳）: 本稿では,最先端制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3次元NeRFを生成する新しいPrompt-to-NeRFフレームワークであるDeceptive-Humanを提案する。ドリームフュージョンやドリームヒューマンのような直接的な3次元生成アプローチとは異なり、欺き-人間は再構築品質を高めるために進歩的な洗練技術を用いる。これは、ビュー一貫性損失の制御ネットから生成された高品質な合成人間の画像を活用することで実現される。本手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む多モード入力を,多目的かつ容易に拡張可能である。結果として得られる3D人間のNeRFモデルは、360度の視点から高度光写実主義的ノベルビューの合成を促進する。多視点で一貫した合成人間のイメージを幻覚させるための知覚ヒューマンの鍵は、我々の進歩的な微調整戦略にある。この戦略は、人間のnerfモデルを改善するために、各中間ステップで提供されたマルチモーダル入力を使用してビューを反復的に強化することを含む。この反復的精錬プロセスでは、下層の密度推定に対する干渉を防ぐために、ビュー依存の外観を体系的に排除する。広汎な質的および定量的な比較実験により、我々の偽造人間モデルが最先端の応用品質を達成することが示された。

関連論文リスト

Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
論文参考訳（メタデータ） (2024-01-22T18:08:22Z)
Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [15.089560253798924]
本研究の目的は、制御可能で光現実的な人間のアバターを作成するために、生成拡散モデルの品質と機能を向上させることである。我々は,3次元形態素モデルを最先端の多視点連続拡散手法に統合することで実現した。提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
論文参考訳（メタデータ） (2024-01-09T18:59:04Z)
MVHuman: Tailoring 2D Diffusion with Multi-view Sampling For Realistic 3D Human Generation [45.88714821939144]
テキスト誘導から人間の放射界を生成するためのMVHumanという代替スキームを提案する。我々のコアは、一貫したマルチビュー画像を生成するための事前学習されたネットワークのデノイングプロセスを調整するためのマルチビューサンプリング戦略である。
論文参考訳（メタデータ） (2023-12-15T11:56:26Z)
HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion [53.1558345421646]
単一ビュー入力から3次元のヒューマン生成フレームワークであるHumanRefを提案する。生成した3Dモデルが入力画像と光写実的に整合していることを保証するため、HumanRefは参照誘導スコア蒸留サンプリングと呼ばれる新しい手法を導入した。実験結果から,HumanRefは3D衣服を製作する上で,最先端の手法よりも優れていた。
論文参考訳（メタデータ） (2023-11-28T17:06:28Z)
HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation [41.82589219009301]
我々は,高品質でリアルな3Dヒューマンジェネレーションのための新しいアプローチであるHumanNormを提案する。モデルの主な考え方は、正規適応拡散モデルと正規整合拡散モデルを学ぶことによって、3次元幾何学の2次元知覚を強化することである。 HumanNormは、テクスチャとテクスチャの質の両方において、既存のテキストから3Dメソッドよりも優れています。
論文参考訳（メタデータ） (2023-10-02T17:59:17Z)
Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T19:53:50Z)
Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文参考訳（メタデータ） (2023-02-02T15:37:46Z)
HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
論文参考訳（メタデータ） (2022-10-21T14:42:11Z)
THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
論文参考訳（メタデータ） (2021-06-17T09:09:24Z)
Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。