論文の概要: Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout
Constraints
- arxiv url: http://arxiv.org/abs/2310.03602v2
- Date: Mon, 9 Oct 2023 03:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 19:33:43.461836
- Title: Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout
Constraints
- Title(参考訳): ctrl-room: レイアウト制約付き制御可能なテキストから3次元ルームメッシュ
- Authors: Chuan Fang, Xiaotao Hu, Kunming Luo, Ping Tan
- Abstract要約: Ctrl-Roomは、デザイナースタイルのレイアウトとテキストプロンプトから高忠実度を備えた説得力のある3Dルームを生成することができる。
Ctrl-Roomは、テクスチャや個々の家具の移動など、多種多様なインタラクティブな編集操作を可能にする。
- 参考スコア(独自算出の注目度): 38.634997232209486
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Text-driven 3D indoor scene generation could be useful for gaming, film
industry, and AR/VR applications. However, existing methods cannot faithfully
capture the room layout, nor do they allow flexible editing of individual
objects in the room. To address these problems, we present Ctrl-Room, which is
able to generate convincing 3D rooms with designer-style layouts and
high-fidelity textures from just a text prompt. Moreover, Ctrl-Room enables
versatile interactive editing operations such as resizing or moving individual
furniture items. Our key insight is to separate the modeling of layouts and
appearance. %how to model the room that takes into account both scene texture
and geometry at the same time. To this end, Our proposed method consists of two
stages, a `Layout Generation Stage' and an `Appearance Generation Stage'. The
`Layout Generation Stage' trains a text-conditional diffusion model to learn
the layout distribution with our holistic scene code parameterization. Next,
the `Appearance Generation Stage' employs a fine-tuned ControlNet to produce a
vivid panoramic image of the room guided by the 3D scene layout and text
prompt. In this way, we achieve a high-quality 3D room with convincing layouts
and lively textures. Benefiting from the scene code parameterization, we can
easily edit the generated room model through our mask-guided editing module,
without expensive editing-specific training. Extensive experiments on the
Structured3D dataset demonstrate that our method outperforms existing methods
in producing more reasonable, view-consistent, and editable 3D rooms from
natural language prompts.
- Abstract(参考訳): テキスト駆動の屋内シーン生成は、ゲーム、映画産業、AR/VRアプリケーションに有用である。
しかし、既存の手法では、部屋のレイアウトを忠実に捉えたり、部屋内の個々のオブジェクトを柔軟に編集したりすることはできない。
これらの問題に対処するために、Ctrl-Roomを提案する。Ctrl-Roomは、デザイナースタイルのレイアウトとテキストプロンプトから高忠実なテクスチャを持つ説得力のある3Dルームを生成することができる。
さらにctrl-roomでは,個々の家具項目のリサイズや移動など,多彩なインタラクティブな編集操作が可能だ。
私たちの重要な洞察は、レイアウトと外観のモデリングを分離することです。
% シーンテクスチャと幾何学の両方を同時に考慮した部屋をモデル化する方法。
この目的のために,提案手法は「レイアウト生成段階」と「出現生成段階」の2つの段階からなる。
layout generation stage'は、テキスト-条件拡散モデルを訓練して、総合的なシーンコードパラメータ化でレイアウト分布を学習します。
次に、3Dシーンレイアウトとテキストプロンプトでガイドされた部屋の鮮明なパノラマ画像を生成するために、制御ネットを微調整した。
このように,レイアウトやテクスチャを説得力のある高品質な3d空間を実現する。
シーンコードパラメータ化の利点は、高価な編集専用トレーニングを必要とせずに、マスク誘導編集モジュールを通じて生成されたルームモデルを編集することである。
structured3dデータセットに関する広範な実験により、自然言語プロンプトからより合理的で、ビュー一貫性があり、編集可能な3dルームを生成する方法が、既存の方法よりも優れていることが証明された。
関連論文リスト
- Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。
私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。
単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
論文 参考訳(メタデータ) (2024-02-26T18:54:15Z) - Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects [84.45345829270626]
制御可能な3D屋内シーン合成は、技術進歩の最前線にある。
シーンスタイリングの現在の手法は、シーン全体にスタイルを適用することに限定されている。
室内3Dシーンを合成するためのユニークなパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-24T03:10:36Z) - ControlRoom3D: Room Generation using Semantic Proxy Rooms [48.93419701713694]
高品質なルームメッシュを生成するための新しい手法であるControlRoom3Dを提案する。
われわれのアプローチはユーザ定義の3Dセマンティック・プロキシールームであり、粗い部屋のレイアウトを概説している。
2Dにレンダリングすると、この3D表現は強力な2Dモデルを制御するための貴重な幾何学的および意味的な情報を提供する。
論文 参考訳(メタデータ) (2023-12-08T17:55:44Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-07-07T21:38:50Z) - RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent
Geometry and Texture [80.0643976406225]
本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。
本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。
提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
論文 参考訳(メタデータ) (2023-05-18T22:57:57Z) - SceneHGN: Hierarchical Graph Networks for 3D Indoor Scene Generation
with Fine-Grained Geometry [92.24144643757963]
3D屋内シーンは、インテリアデザインからゲーム、バーチャルおよび拡張現実に至るまで、コンピュータグラフィックスで広く使われている。
高品質な3D屋内シーンは、専門知識が必要であり、手動で高品質な3D屋内シーンを設計するのに時間を要する。
SCENEHGNは3次元屋内シーンの階層的なグラフネットワークであり,部屋レベルからオブジェクトレベルまでの全階層を考慮し,最後にオブジェクト部分レベルに展開する。
提案手法は, 立体形状の細かな家具を含む, 可塑性3次元室内容を直接生成し, 直接的に生成することができる。
論文 参考訳(メタデータ) (2023-02-16T15:31:59Z) - Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint
Rendering for the Closed Scene Composed of Pre-Captured Objects [40.59508249969956]
閉シーンに対するニューラルレンダリングを用いたアモーダル3次元シーン理解の新しいパラダイムに基づいて、そのような人間の知覚能力を模倣する新しいソリューションを提案する。
まず, 閉鎖シーンにおける物体の事前の知識を, オフラインステージを通じて学習し, オンラインステージにおいて, 家具の配置のない部屋の理解を容易にする。
オンライン段階において、異なるレイアウトのシーンのパノラマ画像が与えられた場合、我々は、全体論的ニューラルネットワークに基づく最適化フレームワークを使用して、正しい3Dシーンレイアウトを効率的に推定し、リアルな自由視点レンダリングを提供する。
論文 参考訳(メタデータ) (2022-05-05T15:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。