論文の概要: Garment3DGen: 3D Garment Stylization and Texture Generation
- arxiv url: http://arxiv.org/abs/2403.18816v1
- Date: Wed, 27 Mar 2024 17:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 15:50:03.323687
- Title: Garment3DGen: 3D Garment Stylization and Texture Generation
- Title(参考訳): Garment3DGen: 3Dガーメントスティル化とテクスチャ生成
- Authors: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan,
- Abstract要約: Garment3DGenは、単一の入力イメージをガイダンスとして与えられたベースメッシュから3Dの衣服資産を合成する新しい方法である。
生成された資産は人体に直接描画し、シミュレーションすることができる。
- 参考スコア(独自算出の注目度): 11.836357439129301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.
- Abstract(参考訳): 本稿では,単一の入力画像が与えられたベースメッシュから3次元衣服資産を合成する新しい手法であるGarment3DGenを紹介する。
提案手法では,テキストプロンプトなど,実画像と合成画像の両方に基づいて3次元テクスチャ化された衣服を作成できる。
生成された資産は人体に直接描画し、シミュレーションすることができる。
まず,最近の画像の3次元拡散手法の進歩を活用して3次元衣服測地を創出する。
しかし、これらのジオメトリは下流のタスクでは直接利用できないため、擬似地下構造として利用し、ベーステンプレートメッシュを変形させて生成された3Dターゲットに適合させるメッシュ変形最適化手順を構築することを提案する。
第二に、入力ベースメッシュが所望の目標に向かって自由に変形するが、メッシュの品質とトポロジーをシミュレートできるように、慎重に設計された損失を導入する。
最後に、テクスチャ推定モジュールは、グローバルかつ局所的に一貫した高忠実度テクスチャマップを生成し、入力ガイダンスを忠実にキャプチャし、生成した3Dアセットをレンダリングする。
Garment3DGenを使用すると、アーティストの介入を必要とせずにテクスチャ化された3D衣服を選択できる。
シミュレーション可能な3Dアセットを生成したいと望む衣服を記述したテキストプロンプトを提供することができる。
本稿では,実物と生物の両方の資産に関する定量的・定性的な比較を多数提示し,シミュレーション可能な3D衣料の創出方法のユースケースを提供する。
関連論文リスト
- ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。
伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。
本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-26T18:26:01Z) - GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details [31.92583566128599]
伝統的な3D衣服の作成は、スケッチ、モデリング、紫外線マッピング、時間のかかるプロセスを含む労働集約型である。
本稿では,GarmentDreamerを提案する。GarmentDreamerは,テキストプロンプトから3D衣料を生成するためのガイダンスとして,3Dガウススプラッティング(GS)を利用する新しい手法である。
論文 参考訳(メタデータ) (2024-05-20T23:54:28Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2023-11-09T15:51:27Z) - 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。
本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。
本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
論文 参考訳(メタデータ) (2023-01-06T19:58:47Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Structure-Preserving 3D Garment Modeling with Neural Sewing Machines [190.70647799442565]
構造保存型3D衣料モデリングのための学習ベースフレームワークであるニューラル縫製機械(NSM)を提案する。
NSMは、多様な衣服形状とトポロジで3D衣服を表現でき、保存された構造で2D画像から3D衣服をリアルに再構成し、3D衣服カテゴリー、形状、トポロジを正確に操作することができる。
論文 参考訳(メタデータ) (2022-11-12T16:43:29Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z) - Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。
本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
論文 参考訳(メタデータ) (2020-11-26T05:02:09Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。