論文の概要: RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting

• arxiv url: http://arxiv.org/abs/2406.02461v1
• Date: Tue, 4 Jun 2024 16:27:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:20:58.485953
• Title: RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting
• Title（参考訳）: RoomTex: 反復塗布による室内構成シーンのテクスチャ化
• Authors: Qi Wang, Ruijie Lu, Xudong Xu, Jingbo Wang, Michael Yu Wang, Bo Dai, Gang Zeng, Dan Xu,
• Abstract要約: 本研究では,RoomTexと呼ばれる3次元シーンフレームワークを提案する。 RoomTexは、一貫性のないシーンメッシュのために、高忠実でスタイル一貫性のあるテクスチャを生成する。 本稿では,RGBとエッジ検出手法の整合性を維持することを提案する。
• 参考スコア（独自算出の注目度）: 34.827355403635536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advancement of diffusion models has pushed the boundary of text-to-3D object generation. While it is straightforward to composite objects into a scene with reasonable geometry, it is nontrivial to texture such a scene perfectly due to style inconsistency and occlusions between objects. To tackle these problems, we propose a coarse-to-fine 3D scene texturing framework, referred to as RoomTex, to generate high-fidelity and style-consistent textures for untextured compositional scene meshes. In the coarse stage, RoomTex first unwraps the scene mesh to a panoramic depth map and leverages ControlNet to generate a room panorama, which is regarded as the coarse reference to ensure the global texture consistency. In the fine stage, based on the panoramic image and perspective depth maps, RoomTex will refine and texture every single object in the room iteratively along a series of selected camera views, until this object is completely painted. Moreover, we propose to maintain superior alignment between RGB and depth spaces via subtle edge detection methods. Extensive experiments show our method is capable of generating high-quality and diverse room textures, and more importantly, supporting interactive fine-grained texture control and flexible scene editing thanks to our inpainting-based framework and compositional mesh input. Our project page is available at https://qwang666.github.io/RoomTex/.
• Abstract（参考訳）: 拡散モデルの進歩は、テキストから3Dオブジェクト生成の境界を押し上げている。 合理的な形状のシーンにオブジェクトを合成するのは簡単だが、スタイルの不整合やオブジェクト間の閉塞により、そのようなシーンを完璧にテクスチャ化することは容易ではない。 これらの問題に対処するため,RoomTexと呼ばれる粗大な3次元シーンテクスチャフレームワークを提案し,非テクスチャ構成のシーンメッシュに対して高忠実でスタイルに一貫性のあるテクスチャを生成する。 粗い段階では、RoomTexはまずシーンメッシュをパノラマ深度マップに切り離し、ControlNetを利用して部屋パノラマを生成します。 ファインステージでは、パノラマ画像とパースペクティブデプスマップに基づいて、RoomTexは、選択されたカメラビューに沿って、部屋内のすべてのオブジェクトを反復的に洗練し、テクスチャ化する。 さらに,RGBと奥行き空間の整合性を維持するために,エッジ検出の微妙な手法を提案する。 広汎な実験により,本手法は高品質で多様な部屋のテクスチャを生成可能であることが示され,さらに,インペイントベースのフレームワークと構成メッシュ入力により,インタラクティブなきめ細かいテクスチャ制御とフレキシブルなシーン編集をサポートする。 私たちのプロジェクトページはhttps://qwang666.github.io/RoomTex/で公開されています。

関連論文リスト

• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation [31.353409149640605]
  本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。 生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
  論文  参考訳（メタデータ） (2023-10-19T19:29:23Z)
• Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details [12.660352353074012]
  複数のオブジェクトからなる仮想シーンの現実的なテクスチャを自動生成するText2Sceneを提案する。 我々のパイプラインは、室内のラベル付き3Dジオメトリに詳細なテクスチャを追加し、生成した色が、しばしば類似の材料から構成される階層構造や意味的な部分を尊重するようにします。
  論文  参考訳（メタデータ） (2023-08-31T17:37:23Z)
• RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture [80.0643976406225]
  本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。 本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。 提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
  論文  参考訳（メタデータ） (2023-05-18T22:57:57Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• SceneHGN: Hierarchical Graph Networks for 3D Indoor Scene Generation with Fine-Grained Geometry [92.24144643757963]
  3D屋内シーンは、インテリアデザインからゲーム、バーチャルおよび拡張現実に至るまで、コンピュータグラフィックスで広く使われている。 高品質な3D屋内シーンは、専門知識が必要であり、手動で高品質な3D屋内シーンを設計するのに時間を要する。 SCENEHGNは3次元屋内シーンの階層的なグラフネットワークであり,部屋レベルからオブジェクトレベルまでの全階層を考慮し,最後にオブジェクト部分レベルに展開する。 提案手法は, 立体形状の細かな家具を含む, 可塑性3次元室内容を直接生成し, 直接的に生成することができる。
  論文  参考訳（メタデータ） (2023-02-16T15:31:59Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization [66.25948693095604]
  本研究では,パノラマ画像から各オブジェクトの3次元空間配置と形状,ポーズ,位置,意味的カテゴリを復元するパノラマ3次元シーン理解手法を提案する。 実験により, この手法は, パノラマシーン理解において, 幾何学的精度とオブジェクト配置の両方の観点から, 既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-24T13:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。