論文の概要: FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images

• arxiv url: http://arxiv.org/abs/2410.01801v1
• Date: Wed, 2 Oct 2024 17:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 15:04:32.226895
• Title: FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images
• Title（参考訳）: FabricDiffusion:3次元衣料生成のための高忠実なテクスチャートランスファー
• Authors: Cheng Zhang, Yuanhao Wang, Francisco Vicente Carrasco, Chenglei Wu, Jinlong Yang, Thabo Beeler, Fernando De la Torre,
• Abstract要約: ファブリックディフュージョン(FabricDiffusion)は、織物のテクスチャを1枚の衣服画像から任意の形状の3D衣服に転送する方法である。 FabricDiffusionは、テクスチャパターン、材料特性、詳細な印刷物やロゴを含む、単一の衣料品画像から様々な特徴を伝達できることを示す。
• 参考スコア（独自算出の注目度）: 56.63824638417697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce FabricDiffusion, a method for transferring fabric textures from a single clothing image to 3D garments of arbitrary shapes. Existing approaches typically synthesize textures on the garment surface through 2D-to-3D texture mapping or depth-aware inpainting via generative models. Unfortunately, these methods often struggle to capture and preserve texture details, particularly due to challenging occlusions, distortions, or poses in the input image. Inspired by the observation that in the fashion industry, most garments are constructed by stitching sewing patterns with flat, repeatable textures, we cast the task of clothing texture transfer as extracting distortion-free, tileable texture materials that are subsequently mapped onto the UV space of the garment. Building upon this insight, we train a denoising diffusion model with a large-scale synthetic dataset to rectify distortions in the input texture image. This process yields a flat texture map that enables a tight coupling with existing Physically-Based Rendering (PBR) material generation pipelines, allowing for realistic relighting of the garment under various lighting conditions. We show that FabricDiffusion can transfer various features from a single clothing image including texture patterns, material properties, and detailed prints and logos. Extensive experiments demonstrate that our model significantly outperforms state-to-the-art methods on both synthetic data and real-world, in-the-wild clothing images while generalizing to unseen textures and garment shapes.
• Abstract（参考訳）: 本稿では,布のテクスチャを1枚の衣服画像から任意の形状の3D衣服に転送する方法であるFabricDiffusionを紹介する。 既存のアプローチでは、2Dから3Dのテクスチャマッピングや、生成モデルによる深度認識のインペイントを通じて、衣服表面のテクスチャを合成するのが一般的である。 残念なことに、これらの手法はしばしばテクスチャの詳細を捉え保存するのに苦労する。 ファッション業界では、縫製パターンを平らで繰り返し可能なテクスチャで縫い合わせることで、ほとんどの衣服が作られるという観察に触発されて、衣服のUV空間にマッピングされた歪みのないタイル状テクスチャ素材を抽出する作業として、衣服テクスチャ転送のタスクを投入した。 この知見に基づいて、我々は、入力テクスチャ画像の歪みを補正するために、大規模な合成データセットを用いてデノナイズ拡散モデルを訓練する。 このプロセスは、既存のPBR(Physically-Based Rendering)素材生成パイプラインとの密結合を可能にする平坦なテクスチャマップを生成し、様々な照明条件下での衣服のリアルなリライティングを可能にする。 FabricDiffusionは、テクスチャパターン、材料特性、詳細な印刷物やロゴを含む、単一の衣料品画像から様々な特徴を伝達できることを示す。 広汎な実験により,我々のモデルは,合成データと実世界の衣服画像の両方において,テクスチャや衣服の形状を一般化しながら,最先端の手法を著しく上回っていることが示された。

関連論文リスト

• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• DeepIron: Predicting Unwarped Garment Texture from a Single Image [9.427635404752934]
  本稿では,1枚の写真から3次元衣料のテクスチャマップを再構築する新しい枠組みを提案する。 私たちのフレームワークのキーコンポーネントであるTexture Unwarperは、入力された衣料品画像から元のテクスチャイメージを推測する。 入力された衣服の本来のテクスチャを推定することにより、新しいポーズのためにリアルに変形した高品質なテクスチャ画像を表示することができる3D衣料モデルの再構築を支援する。
  論文  参考訳（メタデータ） (2023-10-24T01:44:11Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual Try-On Systems [1.7394606468019056]
  我々は,現実のファッションカタログ画像によく応用できる,堅牢な3次元衣料デジタル化ソリューションを開発した。 教師付き深層ネットワークをトレーニングしてランドマーク予測とテクスチャ塗布作業を行い,大量の合成データを生成した。 オンラインファッションのeコマースプラットフォームから収集した、小さなファッションカタログ画像に手動で注釈を付けました。
  論文  参考訳（メタデータ） (2021-11-30T05:49:23Z)
• A deep learning based interactive sketching system for fashion images design [47.09122395308728]
  ファッションスケッチとテクスチャ情報から,多様な高品質な衣料品画像をデザインするインタラクティブシステムを提案する。 このシステムの背後にある大きな課題は、ユーザが提供するテクスチャ情報に基づいて高品質で詳細なテクスチャを生成することである。 特に、テクスチャ化された衣料画像を合成する新しい二色エッジテクスチャ表現と、グレースケールエッジに基づいてシェーディングをレンダリングするシェーディングエンハンサーを提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。