論文の概要: DressCode: Autoregressively Sewing and Generating Garments from Text Guidance
- arxiv url: http://arxiv.org/abs/2401.16465v4
- Date: Sat, 15 Jun 2024 01:58:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 06:45:07.482416
- Title: DressCode: Autoregressively Sewing and Generating Garments from Text Guidance
- Title(参考訳): DressCode: テキストガイダンスからガーメントの自動縫製と生成
- Authors: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu,
- Abstract要約: DressCodeは、初心者向けのデザインを民主化し、ファッションデザイン、バーチャルトライオン、デジタルヒューマン創造において大きな可能性を秘めている。
まず,テキスト条件の埋め込みとクロスアテンションを統合して縫製パターンを生成する,GPTベースのアーキテクチャであるSewingGPTを紹介する。
次に、トレーニング済みの安定拡散を調整し、タイルベースの衣服用物理レンダリング(PBR)テクスチャを生成します。
- 参考スコア(独自算出の注目度): 61.48120090970027
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. We first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We then tailor a pre-trained Stable Diffusion to generate tile-based Physically-based Rendering (PBR) textures for the garments. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. It also facilitates pattern completion and texture editing, streamlining the design process through user-friendly interaction. This framework fosters innovation by allowing creators to freely experiment with designs and incorporate unique elements into their work. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases superior quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings. Our project page is https://IHe-KaiI.github.io/DressCode/.
- Abstract(参考訳): アパレルの人間の外見における重要な役割は、デジタル人間の創造における衣服のデジタル化の重要性を浮き彫りにしている。
近年の3Dコンテンツ制作の進歩は、デジタル人間の創造にとって重要な要素である。
それでも、テキストガイダンスによる衣服生成はまだ初期段階にある。
DressCodeは、初心者向けデザインを民主化し、ファッションデザイン、バーチャルトライオン、デジタルヒューマン創造において大きな可能性を秘めている。
まず,GPT ベースのアーキテクチャである SewingGPT を導入し,テキスト条件の埋め込みとクロスアテンションを統合し,テキスト誘導による縫製パターンの生成を行う。
次に、トレーニング済みの安定拡散を調整し、タイルベースの衣服用物理レンダリング(PBR)テクスチャを生成します。
大規模言語モデルを活用することにより,本フレームワークは自然言語インタラクションによりCGフレンドリーな衣服を生成する。
また、パターン補完とテクスチャ編集を容易にし、ユーザフレンドリーなインタラクションを通じてデザインプロセスを合理化する。
このフレームワークは、クリエーターが自由にデザインを実験し、独自の要素を作品に組み込むことによって、イノベーションを促進する。
提案手法は,他の最先端手法と比較して総合的な評価と比較を行い,優れた品質と入力プロンプトとの整合性を示す。
ユーザスタディは、私たちの高品質なレンダリング結果をさらに検証し、実用性と本番環境での可能性を強調します。
私たちのプロジェクトページはhttps://IHe-KaiI.github.io/DressCode/。
関連論文リスト
- DAGSM: Disentangled Avatar Generation with GS-enhanced Mesh [102.84518904896737]
DAGSMは、与えられたテキストプロンプトから歪んだ人体と衣服を生成する新しいパイプラインである。
まず着ていない体を作り、次に体に基づいて個々の布を生成します。
実験では、DAGSMは高品質なアンタングルアバターを生成し、衣服の交換とリアルなアニメーションをサポートし、視覚的品質においてベースラインを上回っている。
論文 参考訳(メタデータ) (2024-11-20T07:00:48Z) - GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details [31.92583566128599]
伝統的な3D衣服の作成は、スケッチ、モデリング、紫外線マッピング、時間のかかるプロセスを含む労働集約型である。
本稿では,GarmentDreamerを提案する。GarmentDreamerは,テキストプロンプトから3D衣料を生成するためのガイダンスとして,3Dガウススプラッティング(GS)を利用する新しい手法である。
論文 参考訳(メタデータ) (2024-05-20T23:54:28Z) - WordRobe: Text-Guided Generation of Textured 3D Garments [30.614451083408266]
WordRobeは、ユーザフレンドリーなテキストプロンプトから非ポーズでテクスチャ化された3Dメッシュを生成するための新しいフレームワークである。
本研究では,3次元衣服空間の学習,衣服合成,テクスチャ合成において,現在のSOTAよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-26T09:44:34Z) - Make-It-Vivid: Dressing Your Animatable Biped Cartoon Characters from Text [38.591390310534024]
入力命令に基づく漫画文字の自動テクスチャ設計に着目する。
これはドメイン固有の要件と高品質なデータの欠如にとって難しい。
UVテキストから高品質なテクスチャ生成を可能にする最初の試みとして,Make-ItViviを提案する。
論文 参考訳(メタデータ) (2024-03-25T16:08:04Z) - TADA! Text to Animatable Digital Avatars [57.52707683788961]
TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。
我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。
我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
論文 参考訳(メタデータ) (2023-08-21T17:59:10Z) - Cloth2Tex: A Customized Cloth Texture Generation Pipeline for 3D Virtual
Try-On [47.4550741942217]
Cloth2Texは、合理的なレイアウトと構造整合性を備えたテクスチャマップを生成する自己教師型手法である。
高忠実なテクスチャ塗布をサポートするために使用できる。
本手法は質的かつ定量的に評価し,Chroth2Texが高品質なテクスチャマップを作成可能であることを示す。
論文 参考訳(メタデータ) (2023-08-08T14:32:38Z) - Text-guided 3D Human Generation from 2D Collections [69.04031635550294]
本稿では,テクスト誘導型3Dヒューマンジェネレーション(texttT3H)について紹介する。
CCHは、抽出されたファッションセマンティクスを用いたヒューズ合成ヒトのレンダリングに、クロスモーダルアテンションを採用する。
我々はDeepFashionとSHHQで、上着と下着の形状、生地、色を多彩なファッション特性で評価する。
論文 参考訳(メタデータ) (2023-05-23T17:50:15Z) - Structure-Preserving 3D Garment Modeling with Neural Sewing Machines [190.70647799442565]
構造保存型3D衣料モデリングのための学習ベースフレームワークであるニューラル縫製機械(NSM)を提案する。
NSMは、多様な衣服形状とトポロジで3D衣服を表現でき、保存された構造で2D画像から3D衣服をリアルに再構成し、3D衣服カテゴリー、形状、トポロジを正確に操作することができる。
論文 参考訳(メタデータ) (2022-11-12T16:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。