論文の概要: TELA: Text to Layer-wise 3D Clothed Human Generation
- arxiv url: http://arxiv.org/abs/2404.16748v1
- Date: Thu, 25 Apr 2024 17:05:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:01:06.728082
- Title: TELA: Text to Layer-wise 3D Clothed Human Generation
- Title(参考訳): TELA:レイヤーワイドな3Dクローン・ヒューマン・ジェネレーション
- Authors: Junting Dong, Qi Fang, Zehuan Huang, Xudong Xu, Jingbo Wang, Sida Peng, Bo Dai,
- Abstract要約: 本稿では,テクスチャ記述による3次元衣料人文生成の課題について論じる。
本稿では,プログレッシブ最適化戦略と組み合わせて,レイヤワイドな人間の表現を提案する。
提案手法は,最先端の3D衣料人為的生成を実現するとともに,布の編集アプリケーションもサポートしている。
- 参考スコア(独自算出の注目度): 27.93447899876341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the task of 3D clothed human generation from textural descriptions. Previous works usually encode the human body and clothes as a holistic model and generate the whole model in a single-stage optimization, which makes them struggle for clothing editing and meanwhile lose fine-grained control over the whole generation process. To solve this, we propose a layer-wise clothed human representation combined with a progressive optimization strategy, which produces clothing-disentangled 3D human models while providing control capacity for the generation process. The basic idea is progressively generating a minimal-clothed human body and layer-wise clothes. During clothing generation, a novel stratified compositional rendering method is proposed to fuse multi-layer human models, and a new loss function is utilized to help decouple the clothing model from the human body. The proposed method achieves high-quality disentanglement, which thereby provides an effective way for 3D garment generation. Extensive experiments demonstrate that our approach achieves state-of-the-art 3D clothed human generation while also supporting cloth editing applications such as virtual try-on. Project page: http://jtdong.com/tela_layer/
- Abstract(参考訳): 本稿では,テクスチャ記述による3次元衣料人文生成の課題について論じる。
以前の作品は通常、人体と衣服を総体モデルとしてエンコードし、一段最適化でモデル全体を生成するため、服の編集に苦労する一方で、生成プロセス全体のきめ細かい制御を失う。
そこで本研究では, プログレッシブ最適化戦略と組み合わさって, 生成プロセスの制御能力を提供しながら, 着脱可能な3次元人体モデルを生成するレイヤワイドな人体表現を提案する。
基本的なアイデアは、最小限の衣服とレイヤーワイドな衣服を徐々に作り出すことだ。
衣服生成において, 新規な階層化合成レンダリング法が提案され, 衣服モデルを人体から切り離すのに役立つ新たな損失関数が導入された。
提案手法は高品質なアンタングル化を実現し、3次元衣料生成に有効な方法を提供する。
広汎な実験により,本手法は仮想試着などの布地編集アプリケーションをサポートしながら,最先端の3次元布地生成を実現することが実証された。
プロジェクトページ: http://jtdong.com/tela_layer/
関連論文リスト
- Layered 3D Human Generation via Semantic-Aware Diffusion Model [63.459666003261276]
本稿では,新しい意味認識拡散モデルに基づくテキスト駆動型3次元人文生成フレームワークを提案する。
生成した衣服を対象のテキストと整合性を保つために,衣服のセマンティック・信頼戦略を提案する。
そこで本研究では,SMPLによる暗黙的フィールド変形ネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T07:34:43Z) - Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - HumanLiff: Layer-wise 3D Human Generation with Diffusion Model [55.891036415316876]
既存の3D生成モデルは、主に1回のパスで、検出不能な3Dモデルとして、着物付き3D人間を生成する。
拡散過程を統一した第1層の3次元人間生成モデルであるHumanLiffを提案する。
論文 参考訳(メタデータ) (2023-08-18T17:59:04Z) - Text-guided 3D Human Generation from 2D Collections [69.04031635550294]
本稿では,テクスト誘導型3Dヒューマンジェネレーション(texttT3H)について紹介する。
CCHは、抽出されたファッションセマンティクスを用いたヒューズ合成ヒトのレンダリングに、クロスモーダルアテンションを採用する。
我々はDeepFashionとSHHQで、上着と下着の形状、生地、色を多彩なファッション特性で評価する。
論文 参考訳(メタデータ) (2023-05-23T17:50:15Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳(メタデータ) (2022-10-26T21:15:54Z) - gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。
本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
論文 参考訳(メタデータ) (2022-01-11T18:46:38Z) - Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction
from Single Images [50.34202789543989]
Deep Fashion3Dは、これまでで最大の3D衣料品のコレクションだ。
3D機能ライン、3Dボディポーズ、対応するマルチビューリアルイメージなど、リッチなアノテーションを提供する。
一つのネットワークであらゆる種類の衣服を学習できる新しい適応型テンプレートが提案されている。
論文 参考訳(メタデータ) (2020-03-28T09:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。