論文の概要: TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models
- arxiv url: http://arxiv.org/abs/2310.13772v1
- Date: Fri, 20 Oct 2023 19:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 05:28:28.748297
- Title: TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models
- Title(参考訳): TexFusion:テキストガイド画像拡散モデルによる3次元テクスチャの合成
- Authors: Tianshi Cao, Karsten Kreis, Sanja Fidler, Nicholas Sharp, Kangxue Yin
- Abstract要約: 大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
- 参考スコア(独自算出の注目度): 77.85129451435704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TexFusion (Texture Diffusion), a new method to synthesize textures
for given 3D geometries, using large-scale text-guided image diffusion models.
In contrast to recent works that leverage 2D text-to-image diffusion models to
distill 3D objects using a slow and fragile optimization process, TexFusion
introduces a new 3D-consistent generation technique specifically designed for
texture synthesis that employs regular diffusion model sampling on different 2D
rendered views. Specifically, we leverage latent diffusion models, apply the
diffusion model's denoiser on a set of 2D renders of the 3D object, and
aggregate the different denoising predictions on a shared latent texture map.
Final output RGB textures are produced by optimizing an intermediate neural
color field on the decodings of 2D renders of the latent texture. We thoroughly
validate TexFusion and show that we can efficiently generate diverse, high
quality and globally coherent textures. We achieve state-of-the-art text-guided
texture synthesis performance using only image diffusion models, while avoiding
the pitfalls of previous distillation-based methods. The text-conditioning
offers detailed control and we also do not rely on any ground truth 3D textures
for training. This makes our method versatile and applicable to a broad range
of geometry and texture types. We hope that TexFusion will advance AI-based
texturing of 3D assets for applications in virtual reality, game design,
simulation, and more.
- Abstract(参考訳): 大規模テキスト誘導画像拡散モデルを用いて,テクスチャを合成するテクスチャ合成手法であるテクスチャ拡散(テクスチャ拡散)を提案する。
TexFusionは2次元テキスト・画像拡散モデルを用いて、遅くて脆弱な最適化プロセスを用いて3次元オブジェクトを蒸留する最近の研究とは対照的に、異なる2次元描画ビューで正規拡散モデルサンプリングを利用するテクスチャ合成に特化した新しい3D一貫性生成技術を導入している。
具体的には, 潜在拡散モデルを利用し, 拡散モデルのデノイザーを3dオブジェクトの2次元レンダリングの集合に適用し, 共有潜在テクスチャマップ上で異なるデノイジング予測を集約する。
最終出力RGBテクスチャは、潜伏テクスチャの2Dレンダリングの復号に中間的なニューラルカラーフィールドを最適化することにより生成される。
我々は、TexFusionを徹底的に検証し、多様で高品質でグローバルなコヒーレントなテクスチャを効率的に生成できることを示します。
従来の蒸留方式の落とし穴を回避しつつ, 画像拡散モデルのみを用いたテクスチャ合成性能を実現する。
テキストコンディショニングは詳細なコントロールを提供しており、トレーニングの基盤となる3dテクスチャに依存していません。
これにより,本手法は多種多様な幾何学やテクスチャタイプに適用可能である。
TexFusionは、仮想現実、ゲームデザイン、シミュレーションなどのアプリケーションのための、AIベースの3Dアセットのテクスチャ化を前進させることを期待しています。
関連論文リスト
- SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳(メタデータ) (2023-11-28T22:49:57Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z) - Magic3D: High-Resolution Text-to-3D Content Creation [78.40092800817311]
DreamFusionは最近、NeRF(Neural Radiance Fields)を最適化するための事前訓練されたテキスト-画像拡散モデルの有用性を実証した。
本稿では,2段階最適化フレームワークを用いて,これらの制約に対処する。
Magic3Dと呼ばれる我々の手法は、DreamFusionより2倍高速な高品質な3Dメッシュモデルを40分で作成できる。
論文 参考訳(メタデータ) (2022-11-18T18:59:59Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳(メタデータ) (2022-09-29T17:50:40Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - STS-GAN: Can We Synthesize Solid Texture with High Fidelity from
Arbitrary 2D Exemplar? [20.58364192180389]
任意の3次元立体テクスチャに拡張するために,新たに生成した逆向きネットベースフレームワーク(STS-GAN)を提案する。
STS-GANにおいて、マルチスケール2次元テクスチャ識別器は、3次元テクスチャから得られた2次元の例とスライスとの類似性を評価し、現実的な立体テクスチャを合成する3次元テクスチャ生成装置を推進した。
論文 参考訳(メタデータ) (2021-02-08T02:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。