論文の概要: FlashTex: Fast Relightable Mesh Texturing with LightControlNet
- arxiv url: http://arxiv.org/abs/2402.13251v1
- Date: Tue, 20 Feb 2024 18:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 13:41:42.451253
- Title: FlashTex: Fast Relightable Mesh Texturing with LightControlNet
- Title(参考訳): FlashTex: LightControlNetによる高速なリライト可能なメッシュテクスチャ
- Authors: Kangle Deng, Timothy Omernick, Alexander Weiss, Deva Ramanan, Jun-Yan
Zhu, Tinghui Zhou, Maneesh Agrawala
- Abstract要約: 本稿では,ユーザプロンプトテキストに基づく3Dメッシュの自動入力手法を提案する。
本研究は, 表面材料/反射率から光を引き離す方法に適用する。
私たちのパイプラインは、従来のテキストテクスチャメソッドよりもはるかに高速です。
- 参考スコア(独自算出の注目度): 110.01093328160792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Manually creating textures for 3D meshes is time-consuming, even for expert
visual content creators. We propose a fast approach for automatically texturing
an input 3D mesh based on a user-provided text prompt. Importantly, our
approach disentangles lighting from surface material/reflectance in the
resulting texture so that the mesh can be properly relit and rendered in any
lighting environment. We introduce LightControlNet, a new text-to-image model
based on the ControlNet architecture, which allows the specification of the
desired lighting as a conditioning image to the model. Our text-to-texture
pipeline then constructs the texture in two stages. The first stage produces a
sparse set of visually consistent reference views of the mesh using
LightControlNet. The second stage applies a texture optimization based on Score
Distillation Sampling (SDS) that works with LightControlNet to increase the
texture quality while disentangling surface material from lighting. Our
pipeline is significantly faster than previous text-to-texture methods, while
producing high-quality and relightable textures.
- Abstract(参考訳): 3dメッシュ用のテクスチャを手作業で作成するのは時間を要する。
本稿では,ユーザが提供するテキストプロンプトに基づいて入力3dメッシュを自動的にテキスト化する高速手法を提案する。
ここでは, メッシュを任意の照明環境下で適切に信頼・レンダリングできるように, 表面材/反射から光を分離する手法を提案する。
lightcontrolnet は controlnet アーキテクチャに基づく新しいテキストから画像へのモデルであり,モデルへの条件付き画像として所望の照明の指定を可能にする。
テキストからテクスチャへのパイプラインは、テクスチャを2段階で構築します。
最初のステージでは、LightControlNetを使用して、メッシュの視覚的に一貫した参照ビューのスパースセットを生成する。
第2段階は、lightcontrolnetと連携したスコア蒸留サンプリング(sds)に基づくテクスチャ最適化を行い、表面材料を照明から切り離しながらテクスチャ品質を向上させる。
我々のパイプラインは従来のテキスト・ツー・テクスチャ法よりもはるかに高速で、高品質で楽しいテクスチャを生み出しています。
関連論文リスト
- TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map
Optimization and Physically-Based Rendering [53.70434741500702]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文 参考訳(メタデータ) (2023-12-18T17:17:08Z) - Consistent Mesh Diffusion [8.318075237885857]
UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。
当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
論文 参考訳(メタデータ) (2023-12-01T23:25:14Z) - SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳(メタデータ) (2023-11-28T22:49:57Z) - DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture
Propagation [31.353409149640605]
本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。
生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
論文 参考訳(メタデータ) (2023-10-19T19:29:23Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。