論文の概要: Garment3DGen: 3D Garment Stylization and Texture Generation
- arxiv url: http://arxiv.org/abs/2403.18816v2
- Date: Tue, 13 Aug 2024 18:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 17:56:45.978626
- Title: Garment3DGen: 3D Garment Stylization and Texture Generation
- Title（参考訳）: Garment3DGen: 3Dガーメントスティル化とテクスチャ生成
- Authors: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan,
- Abstract要約: Garment3DGenは、単一の入力イメージをガイダンスとして与えられたベースメッシュから3Dの衣服資産を合成する新しい方法である。
画像から3Dへの拡散手法の最近の進歩を生かして, 3次元の衣服測地を創出する。
我々は、グローバルかつ局所的に一貫した高忠実なテクスチャマップを生成し、入力ガイダンスを忠実にキャプチャする。
- 参考スコア（独自算出の注目度）: 11.836357439129301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. We leverage the recent progress of image-to-3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Carefully designed losses allow the base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, we generate high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the simulation-ready 3D garment of their choice without the need of artist intervention. We present a plethora of quantitative and qualitative comparisons on various assets and demonstrate that Garment3DGen unlocks key applications ranging from sketch-to-simulated garments or interacting with the garments in VR. Code is publicly available.
- Abstract（参考訳）: 本稿では,単一の入力画像が与えられたベースメッシュから3次元衣服資産を合成する新しい手法であるGarment3DGenを紹介する。
提案手法では,テキストプロンプトなど,実画像と合成画像の両方に基づいて3次元テクスチャ化された衣服を作成できる。
生成された資産は人体に直接描画し、シミュレーションすることができる。
画像から3Dへの拡散手法の最近の進歩を生かして, 3次元の衣服測地を創出する。
しかし、これらのジオメトリは下流のタスクでは直接利用できないため、擬似地下構造として利用し、ベーステンプレートメッシュを変形させて生成された3Dターゲットに適合させるメッシュ変形最適化手順を構築することを提案する。
慎重に設計された損失により、ベースメッシュは望ましい目標に向かって自由に変形するが、メッシュの品質とトポロジはシミュレートできる。
最後に,グローバルかつ局所的に一貫した高忠実度テクスチャマップを生成し,入力ガイダンスを忠実にキャプチャし,生成した3Dアセットをレンダリングする。
Garment3DGenを使用すると、アーティストの介入なしにシミュレーション可能な3D衣服を選択できる。
本稿では,様々な資産における定量的および定性的な比較を多数提示し,Garment3DGenがスケッチからシミュレートされた衣服やVRの衣服とのインタラクションに至るまで,主要なアプリケーションをアンロックできることを実証する。
コードは公開されている。
関連論文リスト
- ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。
伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。
本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-26T18:26:01Z) - GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details [31.92583566128599]
伝統的な3D衣服の作成は、スケッチ、モデリング、紫外線マッピング、時間のかかるプロセスを含む労働集約型である。
本稿では,GarmentDreamerを提案する。GarmentDreamerは,テキストプロンプトから3D衣料を生成するためのガイダンスとして,3Dガウススプラッティング(GS)を利用する新しい手法である。
論文 参考訳（メタデータ） (2024-05-20T23:54:28Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳（メタデータ） (2023-11-09T15:51:27Z) - 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。
本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。
本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
論文 参考訳（メタデータ） (2023-01-06T19:58:47Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T06:40:46Z) - Structure-Preserving 3D Garment Modeling with Neural Sewing Machines [190.70647799442565]
構造保存型3D衣料モデリングのための学習ベースフレームワークであるニューラル縫製機械(NSM)を提案する。
NSMは、多様な衣服形状とトポロジで3D衣服を表現でき、保存された構造で2D画像から3D衣服をリアルに再構成し、3D衣服カテゴリー、形状、トポロジを正確に操作することができる。
論文 参考訳（メタデータ） (2022-11-12T16:43:29Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z) - Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。
本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
論文 参考訳（メタデータ） (2020-11-26T05:02:09Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。