論文の概要: DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

• arxiv url: http://arxiv.org/abs/2310.13119v1
• Date: Thu, 19 Oct 2023 19:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 01:27:13.867895
• Title: DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
• Title（参考訳）: テキスト駆動型パノラマテクスチャプロパゲーションで部屋の空間を夢見るDreamSpace
• Authors: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
• Abstract要約: 本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。 生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
• 参考スコア（独自算出の注目度）: 31.353409149640605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based methods have achieved prominent success in generating 2D media. However, accomplishing similar proficiencies for scene-level mesh texturing in 3D spatial applications, e.g., XR/VR, remains constrained, primarily due to the intricate nature of 3D geometry and the necessity for immersive free-viewpoint rendering. In this paper, we propose a novel indoor scene texturing framework, which delivers text-driven texture generation with enchanting details and authentic spatial coherence. The key insight is to first imagine a stylized 360{\deg} panoramic texture from the central viewpoint of the scene, and then propagate it to the rest areas with inpainting and imitating techniques. To ensure meaningful and aligned textures to the scene, we develop a novel coarse-to-fine panoramic texture generation approach with dual texture alignment, which both considers the geometry and texture cues of the captured scenes. To survive from cluttered geometries during texture propagation, we design a separated strategy, which conducts texture inpainting in confidential regions and then learns an implicit imitating network to synthesize textures in occluded and tiny structural areas. Extensive experiments and the immersive VR application on real-world indoor scenes demonstrate the high quality of the generated textures and the engaging experience on VR headsets. Project webpage: https://ybbbbt.com/publication/dreamspace
• Abstract（参考訳）: 拡散に基づく手法は、2Dメディアの生成において顕著な成功を収めた。 しかし、XR/VRのような3次元空間アプリケーションにおけるシーンレベルのメッシュテクスチャの同様の技術を実現するには、主に3次元幾何学の複雑な性質と没入型自由視点レンダリングの必要性のため、制約が残っている。 本稿では,室内シーンのテクスチャ生成のためのテキスト駆動テクスチャ生成フレームワークを提案する。 重要な洞察は、まずシーンの中心的な視点から360{\deg}パノラマテクスチャをスタイライゼーションし、その後、絵を描き、模倣するテクニックで他の領域に伝播させることである。 シーンに対して有意義で整列したテクスチャを確保するため,2つのテクスチャアライメントを用いた新しい粗粒度パノラマテクスチャ生成手法を開発し,キャプチャしたシーンのテクスチャの形状とテクスチャの手がかりを考察した。 テクスチャ伝播中に散らばったジオメトリから生き残るために, 秘密領域でテクスチャを塗りつぶし, 暗黙の模倣ネットワークを学習し, 遮蔽された小構造領域でテクスチャを合成する分離戦略を考案した。 実世界の屋内シーンでの広範囲な実験と没入型vrアプリケーションは、生成したテクスチャの高品質とvrヘッドセットでのエンゲージメント体験を示している。 プロジェクトWebページ:https://ybbbbt.com/publication/dreamspace

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting [34.827355403635536]
  本研究では,RoomTexと呼ばれる3次元シーンフレームワークを提案する。 RoomTexは、一貫性のないシーンメッシュのために、高忠実でスタイル一貫性のあるテクスチャを生成する。 本稿では,RGBとエッジ検出手法の整合性を維持することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:27:09Z)
• FlashTex: Fast Relightable Mesh Texturing with LightControlNet [105.4683880648901]
  ControlNetアーキテクチャに基づいた新しいテキスト・ツー・イメージモデルであるLightControlNetを紹介した。 本手法は, メッシュを任意の照明環境下で適切に切断し, レンダリングできるように, 結果として生じるテクスチャの材質/反射率を下げるためのものである。
  論文  参考訳（メタデータ） (2024-02-20T18:59:00Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details [12.660352353074012]
  複数のオブジェクトからなる仮想シーンの現実的なテクスチャを自動生成するText2Sceneを提案する。 我々のパイプラインは、室内のラベル付き3Dジオメトリに詳細なテクスチャを追加し、生成した色が、しばしば類似の材料から構成される階層構造や意味的な部分を尊重するようにします。
  論文  参考訳（メタデータ） (2023-08-31T17:37:23Z)
• RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture [80.0643976406225]
  本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。 本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。 提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
  論文  参考訳（メタデータ） (2023-05-18T22:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。