論文の概要: SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors
- arxiv url: http://arxiv.org/abs/2311.17261v1
- Date: Tue, 28 Nov 2023 22:49:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:01:33.816778
- Title: SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors
- Title(参考訳): SceneTex:拡散前処理による室内シーンの高品質テクスチャ合成
- Authors: Dave Zhenyu Chen, Haoxuan Li, Hsin-Ying Lee, Sergey Tulyakov, Matthias
Nie{\ss}ner
- Abstract要約: SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
- 参考スコア(独自算出の注目度): 49.03627933561738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose SceneTex, a novel method for effectively generating high-quality
and style-consistent textures for indoor scenes using depth-to-image diffusion
priors. Unlike previous methods that either iteratively warp 2D views onto a
mesh surface or distillate diffusion latent features without accurate geometric
and style cues, SceneTex formulates the texture synthesis task as an
optimization problem in the RGB space where style and geometry consistency are
properly reflected. At its core, SceneTex proposes a multiresolution texture
field to implicitly encode the mesh appearance. We optimize the target texture
via a score-distillation-based objective function in respective RGB renderings.
To further secure the style consistency across views, we introduce a
cross-attention decoder to predict the RGB values by cross-attending to the
pre-sampled reference locations in each instance. SceneTex enables various and
accurate texture synthesis for 3D-FRONT scenes, demonstrating significant
improvements in visual quality and prompt fidelity over the prior texture
generation methods.
- Abstract(参考訳): SceneTexは,奥行き拡散先行画像を用いた室内シーンの高品質でスタイルに整合したテクスチャを効果的に生成する手法である。
メッシュ面に2Dビューを反復的にワープするか、正確な幾何学的およびスタイルの手がかりのない拡散遅延特徴を蒸留する従来の方法とは異なり、SceneTexはスタイルと幾何学的整合性を適切に反映したRGB空間の最適化問題としてテクスチャ合成タスクを定式化している。
中心となるSceneTexは、メッシュの外観を暗黙的にエンコードするマルチレゾリューションテクスチャフィールドを提案する。
目標テクスチャを各RGBレンダリングにおいて,スコア蒸留に基づく目的関数を用いて最適化する。
ビュー間のスタイル整合性をさらに確保するために、各インスタンスの予めサンプリングされた参照位置にクロスアテンディングすることでRGB値を予測するクロスアテンションデコーダを導入する。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
関連論文リスト
- Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map
Optimization and Physically-Based Rendering [53.70434741500702]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文 参考訳(メタデータ) (2023-12-18T17:17:08Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳(メタデータ) (2023-12-13T18:59:30Z) - Consistent Mesh Diffusion [8.318075237885857]
UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。
当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
論文 参考訳(メタデータ) (2023-12-01T23:25:14Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture
Propagation [31.353409149640605]
本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。
生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
論文 参考訳(メタデータ) (2023-10-19T19:29:23Z) - RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent
Geometry and Texture [80.0643976406225]
本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。
本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。
提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
論文 参考訳(メタデータ) (2023-05-18T22:57:57Z) - Text2Tex: Text-driven Texture Synthesis via Diffusion Models [31.773823357617093]
テキストプロンプトから3Dメッシュの質の高いテクスチャを生成する新しい方法であるText2Texを提案する。
多視点から高分解能な部分的テクスチャを段階的に合成するために,事前に学習した深度認識画像拡散モデルに塗料を塗布する。
論文 参考訳(メタデータ) (2023-03-20T19:02:13Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳(メタデータ) (2022-07-23T09:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。