論文の概要: RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture

• arxiv url: http://arxiv.org/abs/2305.11337v1
• Date: Thu, 18 May 2023 22:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 16:59:14.847563
• Title: RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture
• Title（参考訳）: roomdreamer:コヒーレントな幾何学とテクスチャを用いたテキスト駆動3次元室内シーン合成
• Authors: Liangchen Song, Liangliang Cao, Hongyu Xu, Kai Kang, Feng Tang, Junsong Yuan, Yang Zhao
• Abstract要約: 本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。 本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。 提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
• 参考スコア（独自算出の注目度）: 80.0643976406225
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The techniques for 3D indoor scene capturing are widely used, but the meshes produced leave much to be desired. In this paper, we propose "RoomDreamer", which leverages powerful natural language to synthesize a new room with a different style. Unlike existing image synthesis methods, our work addresses the challenge of synthesizing both geometry and texture aligned to the input scene structure and prompt simultaneously. The key insight is that a scene should be treated as a whole, taking into account both scene texture and geometry. The proposed framework consists of two significant components: Geometry Guided Diffusion and Mesh Optimization. Geometry Guided Diffusion for 3D Scene guarantees the consistency of the scene style by applying the 2D prior to the entire scene simultaneously. Mesh Optimization improves the geometry and texture jointly and eliminates the artifacts in the scanned scene. To validate the proposed method, real indoor scenes scanned with smartphones are used for extensive experiments, through which the effectiveness of our method is demonstrated.
• Abstract（参考訳）: 3次元屋内シーン撮影技術は広く用いられているが、メッシュが作り出すものは多く望まれる。 本稿では,強力な自然言語を用いて異なるスタイルで新しい部屋を合成する「roomdreamer」を提案する。 既存の画像合成法とは違って,図形とテクスチャを入力シーン構造に整合させ,同時にプロンプトするという課題に対処する。 重要な洞察は、シーンのテクスチャと幾何学の両方を考慮して、シーン全体を扱うべきだということだ。 提案するフレームワークは,幾何誘導拡散とメッシュ最適化という2つの重要なコンポーネントで構成されている。 Geometry Guided Diffusion for 3D Sceneは、シーン全体に対して2Dを同時に適用することにより、シーンスタイルの整合性を保証する。 メッシュ最適化は、幾何学とテクスチャを共同で改善し、スキャンされたシーンのアーティファクトを除去する。 提案手法を検証するために,スマートフォンでスキャンした実室内シーンを広範囲に実験し,本手法の有効性を実証した。

関連論文リスト

• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting [34.827355403635536]
  本研究では,RoomTexと呼ばれる3次元シーンフレームワークを提案する。 RoomTexは、一貫性のないシーンメッシュのために、高忠実でスタイル一貫性のあるテクスチャを生成する。 本稿では,RGBとエッジ検出手法の整合性を維持することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:27:09Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation [31.353409149640605]
  本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。 生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
  論文  参考訳（メタデータ） (2023-10-19T19:29:23Z)
• SceneHGN: Hierarchical Graph Networks for 3D Indoor Scene Generation with Fine-Grained Geometry [92.24144643757963]
  3D屋内シーンは、インテリアデザインからゲーム、バーチャルおよび拡張現実に至るまで、コンピュータグラフィックスで広く使われている。 高品質な3D屋内シーンは、専門知識が必要であり、手動で高品質な3D屋内シーンを設計するのに時間を要する。 SCENEHGNは3次元屋内シーンの階層的なグラフネットワークであり,部屋レベルからオブジェクトレベルまでの全階層を考慮し,最後にオブジェクト部分レベルに展開する。 提案手法は, 立体形状の細かな家具を含む, 可塑性3次元室内容を直接生成し, 直接的に生成することができる。
  論文  参考訳（メタデータ） (2023-02-16T15:31:59Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。