Fugu-MT 論文翻訳(概要): TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling

論文の概要: TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling

arxiv url: http://arxiv.org/abs/2408.01291v1
Date: Fri, 2 Aug 2024 14:24:40 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 13:17:55.950417
Title: TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling
Title（参考訳）: TexGen:マルチビューサンプリングと再サンプリングによるテキストガイド型3Dテクスチャ生成
Authors: Dong Huo, Zixin Guo, Xinxin Zuo, Zhihao Shi, Juwei Lu, Peng Dai, Songcen Xu, Li Cheng, Yee-Hong Yang,
Abstract要約: テクスチャ生成のための新しい多視点サンプリングおよび再サンプリングフレームワークであるTexGenを提案する。提案手法は,高精細度3次元オブジェクトに対して,高精細度で優れたテクスチャ品質を実現する。また,テクスチャ生成技術は,テクスチャ編集にも適用可能である。
参考スコア（独自算出の注目度）: 37.67373829836975
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Given a 3D mesh, we aim to synthesize 3D textures that correspond to arbitrary textual descriptions. Current methods for generating and assembling textures from sampled views often result in prominent seams or excessive smoothing. To tackle these issues, we present TexGen, a novel multi-view sampling and resampling framework for texture generation leveraging a pre-trained text-to-image diffusion model. For view consistent sampling, first of all we maintain a texture map in RGB space that is parameterized by the denoising step and updated after each sampling step of the diffusion model to progressively reduce the view discrepancy. An attention-guided multi-view sampling strategy is exploited to broadcast the appearance information across views. To preserve texture details, we develop a noise resampling technique that aids in the estimation of noise, generating inputs for subsequent denoising steps, as directed by the text prompt and current texture map. Through an extensive amount of qualitative and quantitative evaluations, we demonstrate that our proposed method produces significantly better texture quality for diverse 3D objects with a high degree of view consistency and rich appearance details, outperforming current state-of-the-art methods. Furthermore, our proposed texture generation technique can also be applied to texture editing while preserving the original identity. More experimental results are available at https://dong-huo.github.io/TexGen/
Abstract（参考訳）: 3Dメッシュが与えられた場合、任意のテクスチャ記述に対応する3Dテクスチャを合成することを目的としている。サンプルビューからテクスチャを生成し組み立てる現在の手法は、しばしば顕著なシームや過度な平滑化をもたらす。これらの課題に対処するために,事前学習したテキスト・画像拡散モデルを利用したテクスチャ生成のための新しい多視点サンプリング・再サンプリングフレームワークであるTexGenを提案する。ビュー一貫したサンプリングのために、まず第一にRGB空間におけるテクスチャマップを維持し、それはデノナイジングステップによってパラメータ化され、拡散モデルの各サンプリングステップ後に更新され、ビューの不一致を漸進的に低減する。注目誘導型マルチビューサンプリング戦略を利用して、ビュー間で外観情報をブロードキャストする。テクスチャの詳細を保存するために、テキストプロンプトと現在のテクスチャマップによって指示された、ノイズの推定を支援し、その後のデノナイジングステップの入力を生成するノイズリサンプリング技術を開発した。定性的・定量的な評価を多量に行い, 多様な3次元オブジェクトのテクスチャ品質を高いビュー一貫性とリッチな外観で向上させ, 最先端の手法よりも優れていたことを実証した。さらに,テクスチャ生成技術は,テクスチャ編集にも適用可能である。さらなる実験結果はhttps://dong-huo.github.io/TexGen/で公開されている。

関連論文リスト

Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
論文参考訳（メタデータ） (2024-05-13T21:53:09Z)
GenesisTex: Adapting Image Denoising Diffusion to Texture Space [15.907134430301133]
GenesisTexはテキスト記述から3次元幾何学のテクスチャを合成する新しい手法である。我々は,各視点に対して潜在テクスチャマップを保持し,対応する視点の描画に予測ノイズを伴って更新する。大域的整合性は、ノイズ予測ネットワーク内のスタイル整合性機構の統合によって達成される。
論文参考訳（メタデータ） (2024-03-26T15:15:15Z)
TexRO: Generating Delicate Textures of 3D Models by Recursive Optimization [54.59133974444805]
TexROは、UVテクスチャを最適化することで、既知の3Dメッシュの繊細なテクスチャを生成する新しい方法である。テクスチャ品質,ディテール保存,視覚的一貫性,特に実行速度の観点から,TexROの優れた性能を示す。
論文参考訳（メタデータ） (2024-03-22T07:45:51Z)
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文参考訳（メタデータ） (2024-01-17T18:55:49Z)
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文参考訳（メタデータ） (2023-11-28T22:49:57Z)
TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文参考訳（メタデータ） (2023-10-20T19:15:29Z)
Text-guided High-definition Consistency Texture Model [0.0]
本稿では,3次元メッシュのテクスチャをテキストプロンプトに従って生成する手法として,HCTM(High-definition Consistency Texture Model)を提案する。本研究では,事前学習した深度画像拡散モデルを利用して,テキストプロンプトと深度マップに基づいて単一視点結果を生成する。提案手法は、3次元メッシュに対して高精細で一貫したテクスチャを生成する上で有望な結果を示した。
論文参考訳（メタデータ） (2023-05-10T05:09:05Z)
Text2Tex: Text-driven Texture Synthesis via Diffusion Models [31.773823357617093]
テキストプロンプトから3Dメッシュの質の高いテクスチャを生成する新しい方法であるText2Texを提案する。多視点から高分解能な部分的テクスチャを段階的に合成するために,事前に学習した深度認識画像拡散モデルに塗料を塗布する。
論文参考訳（メタデータ） (2023-03-20T19:02:13Z)
TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文参考訳（メタデータ） (2023-02-03T13:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。