論文の概要: TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion
- arxiv url: http://arxiv.org/abs/2401.09416v1
- Date: Wed, 17 Jan 2024 18:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 15:03:55.788193
- Title: TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion
- Title(参考訳): texturedreamer:geometry-aware diffusionによる画像誘導型テクスチャ合成
- Authors: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc,
Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong,
Zhengqin Li
- Abstract要約: TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
- 参考スコア(独自算出の注目度): 64.49276500129092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present TextureDreamer, a novel image-guided texture synthesis method to
transfer relightable textures from a small number of input images (3 to 5) to
target 3D shapes across arbitrary categories. Texture creation is a pivotal
challenge in vision and graphics. Industrial companies hire experienced artists
to manually craft textures for 3D assets. Classical methods require densely
sampled views and accurately aligned geometry, while learning-based methods are
confined to category-specific shapes within the dataset. In contrast,
TextureDreamer can transfer highly detailed, intricate textures from real-world
environments to arbitrary objects with only a few casually captured images,
potentially significantly democratizing texture creation. Our core idea,
personalized geometry-aware score distillation (PGSD), draws inspiration from
recent advancements in diffuse models, including personalized modeling for
texture information extraction, variational score distillation for detailed
appearance synthesis, and explicit geometry guidance with ControlNet. Our
integration and several essential modifications substantially improve the
texture quality. Experiments on real images spanning different categories show
that TextureDreamer can successfully transfer highly realistic, semantic
meaningful texture to arbitrary objects, surpassing the visual quality of
previous state-of-the-art.
- Abstract(参考訳): 本稿では,少数の入力画像(3~5)から光沢のあるテクスチャを伝達し,任意のカテゴリにまたがる3次元形状を目標とする新しい画像誘導テクスチャ合成手法であるTextureDreamerを提案する。
テクスチャ作成は視覚とグラフィックスにおいて重要な課題である。
工業企業は経験豊富なアーティストを雇い、手動で3Dアセットのテクスチャを作る。
古典的な手法では、厳密にサンプリングされたビューと正確に整列された幾何学を必要とし、学習ベースの手法はデータセット内のカテゴリ固有の形状に限られる。
対照的に、TextureDreamerは、現実世界の環境から、わずかにカジュアルにキャプチャされた画像だけで、複雑なテクスチャを任意のオブジェクトに転送することができる。
私たちのコアなアイデアであるパーソナライズドジオメトリ・アウェアスコア蒸留(pgsd)は、テクスチャ情報抽出のためのパーソナライズドモデリング、詳細な外観合成のための変分スコア蒸留、コントロールネットによる明示的なジオメトリ指導など、最近の拡散モデルの発展からインスピレーションを得ています。
私たちの統合といくつかの重要な変更は、テクスチャの品質を大幅に改善します。
異なるカテゴリにまたがる実画像実験では、テクスチャドリーマーは、よりリアルで意味のあるテクスチャを任意のオブジェクトに移すことができ、以前の最先端の視覚品質を上回っています。
関連論文リスト
- TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - TwinTex: Geometry-aware Texture Generation for Abstracted 3D
Architectural Models [13.248386665044087]
我々はTwinTexについて紹介する。TwinTexは写真にリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークである。
提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
論文 参考訳(メタデータ) (2023-09-20T12:33:53Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳(メタデータ) (2023-05-04T17:58:40Z) - Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。
本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
論文 参考訳(メタデータ) (2023-04-12T13:58:25Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。
本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
論文 参考訳(メタデータ) (2022-04-05T18:00:04Z) - Projective Urban Texturing [8.349665441428925]
没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。
Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。
PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
論文 参考訳(メタデータ) (2022-01-25T14:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。