論文の概要: GenesisTex: Adapting Image Denoising Diffusion to Texture Space

• arxiv url: http://arxiv.org/abs/2403.17782v1
• Date: Tue, 26 Mar 2024 15:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 14:58:20.256919
• Title: GenesisTex: Adapting Image Denoising Diffusion to Texture Space
• Title（参考訳）: GenesisTex: 拡散をテクスチャ空間に適応させる
• Authors: Chenjian Gao, Boyan Jiang, Xinghui Li, Yingpeng Zhang, Qian Yu,
• Abstract要約: GenesisTexはテキスト記述から3次元幾何学のテクスチャを合成する新しい手法である。 我々は,各視点に対して潜在テクスチャマップを保持し,対応する視点の描画に予測ノイズを伴って更新する。 大域的整合性は、ノイズ予測ネットワーク内のスタイル整合性機構の統合によって達成される。
• 参考スコア（独自算出の注目度）: 15.907134430301133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GenesisTex, a novel method for synthesizing textures for 3D geometries from text descriptions. GenesisTex adapts the pretrained image diffusion model to texture space by texture space sampling. Specifically, we maintain a latent texture map for each viewpoint, which is updated with predicted noise on the rendering of the corresponding viewpoint. The sampled latent texture maps are then decoded into a final texture map. During the sampling process, we focus on both global and local consistency across multiple viewpoints: global consistency is achieved through the integration of style consistency mechanisms within the noise prediction network, and low-level consistency is achieved by dynamically aligning latent textures. Finally, we apply reference-based inpainting and img2img on denser views for texture refinement. Our approach overcomes the limitations of slow optimization in distillation-based methods and instability in inpainting-based methods. Experiments on meshes from various sources demonstrate that our method surpasses the baseline methods quantitatively and qualitatively.
• Abstract（参考訳）: テキスト記述から3次元幾何学のテクスチャを合成する新しい手法であるGenesisTexを提案する。 GenesisTexは、事前学習した画像拡散モデルをテクスチャ空間サンプリングによりテクスチャ空間に適応する。 具体的には、各視点に対して潜在テクスチャマップを保持し、対応する視点の描画に予測ノイズを伴って更新する。 サンプル化された潜在テクスチャマップは、最終テクスチャマップにデコードされる。 サンプリングの過程では,複数の視点にまたがる大域的・局所的整合性に着目し,ノイズ予測ネットワーク内のスタイル整合性機構の統合により大域的整合性を実現し,潜在テクスチャを動的に整合させることにより低レベル整合性を実現する。 最後に, テクスチャリファインメントの高密度化に基準ベースの塗布とimg2imgを適用した。 本手法は, 蒸留法における遅い最適化の限界を克服し, 塗布法における不安定性を克服する。 様々な情報源から得られたメッシュ実験により,本手法がベースライン法を定量的かつ定性的に超えることを示した。

関連論文リスト

• TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling [37.67373829836975]
  テクスチャ生成のための新しい多視点サンプリングおよび再サンプリングフレームワークであるTexGenを提案する。 提案手法は,高精細度3次元オブジェクトに対して,高精細度で優れたテクスチャ品質を実現する。 また,テクスチャ生成技術は,テクスチャ編集にも適用可能である。
  論文  参考訳（メタデータ） (2024-08-02T14:24:40Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• ConTex-Human: Free-View Rendering of Human from a Single Image with Texture-Consistent Synthesis [49.28239918969784]
  テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。 また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-11-28T13:55:53Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Text2Tex: Text-driven Texture Synthesis via Diffusion Models [31.773823357617093]
  テキストプロンプトから3Dメッシュの質の高いテクスチャを生成する新しい方法であるText2Texを提案する。 多視点から高分解能な部分的テクスチャを段階的に合成するために,事前に学習した深度認識画像拡散モデルに塗料を塗布する。
  論文  参考訳（メタデータ） (2023-03-20T19:02:13Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。