論文の概要: TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

• arxiv url: http://arxiv.org/abs/2401.09416v1
• Date: Wed, 17 Jan 2024 18:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 15:03:55.788193
• Title: TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
• Title（参考訳）: texturedreamer:geometry-aware diffusionによる画像誘導型テクスチャ合成
• Authors: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li
• Abstract要約: TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
• 参考スコア（独自算出の注目度）: 64.49276500129092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.
• Abstract（参考訳）: 本稿では,少数の入力画像(3～5)から光沢のあるテクスチャを伝達し,任意のカテゴリにまたがる3次元形状を目標とする新しい画像誘導テクスチャ合成手法であるTextureDreamerを提案する。 テクスチャ作成は視覚とグラフィックスにおいて重要な課題である。 工業企業は経験豊富なアーティストを雇い、手動で3Dアセットのテクスチャを作る。 古典的な手法では、厳密にサンプリングされたビューと正確に整列された幾何学を必要とし、学習ベースの手法はデータセット内のカテゴリ固有の形状に限られる。 対照的に、TextureDreamerは、現実世界の環境から、わずかにカジュアルにキャプチャされた画像だけで、複雑なテクスチャを任意のオブジェクトに転送することができる。 私たちのコアなアイデアであるパーソナライズドジオメトリ・アウェアスコア蒸留(pgsd)は、テクスチャ情報抽出のためのパーソナライズドモデリング、詳細な外観合成のための変分スコア蒸留、コントロールネットによる明示的なジオメトリ指導など、最近の拡散モデルの発展からインスピレーションを得ています。 私たちの統合といくつかの重要な変更は、テクスチャの品質を大幅に改善します。 異なるカテゴリにまたがる実画像実験では、テクスチャドリーマーは、よりリアルで意味のあるテクスチャを任意のオブジェクトに移すことができ、以前の最先端の視覚品質を上回っています。

関連論文リスト

• FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images [56.63824638417697]
  ファブリックディフュージョン(FabricDiffusion)は、織物のテクスチャを1枚の衣服画像から任意の形状の3D衣服に転送する方法である。 FabricDiffusionは、テクスチャパターン、材料特性、詳細な印刷物やロゴを含む、単一の衣料品画像から様々な特徴を伝達できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:12Z)
• On Synthetic Texture Datasets: Challenges, Creation, and Curation [1.9567015559455132]
  56のテクスチャにまたがる362,880のテクスチャイメージのデータセットを作成します。 画像生成過程において,画像生成パイプライン内のNSFW安全フィルタはテクスチャに非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T14:02:18Z)
• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• TwinTex: Geometry-aware Texture Generation for Abstracted 3D Architectural Models [13.248386665044087]
  我々はTwinTexについて紹介する。TwinTexは写真にリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークである。 提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
  論文  参考訳（メタデータ） (2023-09-20T12:33:53Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Projective Urban Texturing [8.349665441428925]
  没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。 Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。 PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
  論文  参考訳（メタデータ） (2022-01-25T14:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。