論文の概要: ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians
- arxiv url: http://arxiv.org/abs/2406.16815v1
- Date: Mon, 24 Jun 2024 17:25:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 13:46:06.821772
- Title: ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians
- Title（参考訳）: ClotheDreamer: 3Dガウシアンによるテキストガイドガーメント生成
- Authors: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang,
- Abstract要約: ClotheDreamerは、テキストプロンプトから、ウェアラブルで生産可能な3D衣服の資産を生成する方法だ。
本稿では,Distangled Clothe Gaussian Splatting (DCGS)を提案する。
- 参考スコア（独自算出の注目度）: 13.196912161879936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.
- Abstract（参考訳）: テキストからの高忠実度3D衣料合成は、デジタルアバター作成には望ましいが困難である。
SDS(Score Distillation Sampling)による近年の拡散ベースのアプローチは、新しい可能性を実現しているが、複雑に人体と結合するか、再利用に苦慮している。
テキストプロンプトからウェアラブルで生産可能な3D衣料資産を生成する3Dガウス方式のClotheDreamerを紹介する。
本稿では,Distangled Clothe Gaussian Splatting (DCGS)を提案する。
DCGSは、着用したアバターを1つのガウスモデルとして表現しているが、ガウススプレートを凍結する。
品質と完全性を高めるため,服飾アバターと衣服RGBDレンダリングをそれぞれ監視するために双方向SDSを導入し,ゆるい衣服に新たなプルーニング戦略を提案する。
当社のアプローチでは、入力としてカスタムウェアテンプレートもサポートしています。
我々のデザインに相応しい3D衣服は、仮想試着に簡単に適用でき、物理的に正確なアニメーションをサポートすることができる。
大規模な実験により,本手法の優れた性能と競争性能が示された。
私たちのプロジェクトページはhttps://ggxxii.github.io/clothedreamer.comです。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D
Diffusion [69.67970568012599]
テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。
このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。
我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
論文 参考訳（メタデータ） (2024-09-25T17:59:45Z) - HumanCoser: Layered 3D Human Generation via Semantic-Aware Diffusion Model [43.66218796152962]
本稿では,テキストプロンプトから物理的に階層化された3D人間を生成することを目的とする。
本稿では,物理的に分離された拡散モデルに基づく,新しい階層的な人間の表現法を提案する。
そこで本研究では,SMPLによる暗黙的フィールドネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:00:11Z) - GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details [31.92583566128599]
伝統的な3D衣服の作成は、スケッチ、モデリング、紫外線マッピング、時間のかかるプロセスを含む労働集約型である。
本稿では,GarmentDreamerを提案する。GarmentDreamerは,テキストプロンプトから3D衣料を生成するためのガイダンスとして,3Dガウススプラッティング(GS)を利用する新しい手法である。
論文 参考訳（メタデータ） (2024-05-20T23:54:28Z) - Garment3DGen: 3D Garment Stylization and Texture Generation [11.836357439129301]
Garment3DGenは、単一の入力イメージをガイダンスとして与えられたベースメッシュから3Dの衣服資産を合成する新しい方法である。
画像から3Dへの拡散手法の最近の進歩を生かして, 3次元の衣服測地を創出する。
我々は、グローバルかつ局所的に一貫した高忠実なテクスチャマップを生成し、入力ガイダンスを忠実にキャプチャする。
論文 参考訳（メタデータ） (2024-03-27T17:59:33Z) - Layered 3D Human Generation via Semantic-Aware Diffusion Model [63.459666003261276]
本稿では,新しい意味認識拡散モデルに基づくテキスト駆動型3次元人文生成フレームワークを提案する。
生成した衣服を対象のテキストと整合性を保つために,衣服のセマンティック・信頼戦略を提案する。
そこで本研究では,SMPLによる暗黙的フィールド変形ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-10T07:34:43Z) - DrapeNet: Garment Generation and Self-Supervised Draping [95.0315186890655]
私たちは、複数の衣服をドレープするために単一のネットワークをトレーニングするために、セルフスーパービジョンに依存しています。
これは、生成ネットワークの潜時符号に条件付けられた3次元変形場を予測することで達成される。
私たちのパイプラインは、以前は目に見えなかったトポロジの衣服を生成および描画することができます。
論文 参考訳（メタデータ） (2022-11-21T09:13:53Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳（メタデータ） (2022-10-26T21:15:54Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳（メタデータ） (2022-10-04T19:34:05Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。