論文の概要: HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model
- arxiv url: http://arxiv.org/abs/2406.20077v1
- Date: Fri, 28 Jun 2024 17:39:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 16:01:13.077866
- Title: HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model
- Title（参考訳）: HouseCrafter:2次元拡散モデルによる3Dシーンへのフロアプランのリフティング
- Authors: Hieu T. Nguyen, Yiwen Chen, Vikram Voleti, Varun Jampani, Huaizu Jiang,
- Abstract要約: フルサイズの3D屋内シーン(例えば家)にフロアプランを持ち上げる新しいアプローチであるHouseCrafterを紹介します。
我々の重要な洞察は、Webスケールの画像に基づいて訓練された2次元拡散モデルを適用して、シーンの異なる場所で一貫した多視点色(RGB)と深度(D)画像を生成することである。
- 参考スコア（独自算出の注目度）: 38.06572160966558
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce HouseCrafter, a novel approach that can lift a floorplan into a complete large 3D indoor scene (e.g., a house). Our key insight is to adapt a 2D diffusion model, which is trained on web-scale images, to generate consistent multi-view color (RGB) and depth (D) images across different locations of the scene. Specifically, the RGB-D images are generated autoregressively in a batch-wise manner along sampled locations based on the floorplan, where previously generated images are used as condition to the diffusion model to produce images at nearby locations. The global floorplan and attention design in the diffusion model ensures the consistency of the generated images, from which a 3D scene can be reconstructed. Through extensive evaluation on the 3D-Front dataset, we demonstrate that HouseCraft can generate high-quality house-scale 3D scenes. Ablation studies also validate the effectiveness of different design choices. We will release our code and model weights. Project page: https://neu-vi.github.io/houseCrafter/
- Abstract（参考訳）: HouseCrafterを紹介します。これは、フロアプランを完全な3D屋内シーン(例えば、家)に持ち上げることができる新しいアプローチです。
我々の重要な洞察は、Webスケールの画像に基づいて訓練された2次元拡散モデルを適用して、シーンの異なる場所で一貫した多視点色(RGB)と深度(D)画像を生成することである。
具体的には、RGB-D画像は、フロアプランに基づいて、サンプリングされた場所に沿ってバッチ的に自動回帰的に生成される。
拡散モデルにおけるグローバルフロアプランとアテンション設計により、生成された画像の一貫性が保証され、そこから3Dシーンを再構成することができる。
3D-Frontデータセットの広範な評価を通じて,HouseCraftが高品質なハウススケール3Dシーンを生成できることを実証した。
アブレーション研究は、異なる設計選択の有効性も検証している。
コードとモデルの重みを公開します。
プロジェクトページ: https://neu-vi.github.io/houseCrafter/
関連論文リスト
- CAT3D: Create Anything in 3D with Multi-View Diffusion Models [87.80820708758317]
CAT3D(CAT3D)は,この実世界のキャプチャプロセスを多視点拡散モデルでシミュレートし,任意のものを3Dで作成する手法である。
CAT3Dは1分で3Dシーン全体を作成できる。
論文 参考訳（メタデータ） (2024-05-16T17:59:05Z) - NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。
関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
論文 参考訳（メタデータ） (2023-12-07T18:59:41Z) - Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。
我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。
提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
論文 参考訳（メタデータ） (2023-12-06T19:30:04Z) - LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。
ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。
LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
論文 参考訳（メタデータ） (2023-11-22T13:27:34Z) - Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。
インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
論文 参考訳（メタデータ） (2023-04-12T16:15:05Z) - 3inGAN: Learning a 3D Generative Model from Images of a Self-similar
Scene [34.2144933185175]
3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。
実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
論文 参考訳（メタデータ） (2022-11-27T18:03:21Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳（メタデータ） (2022-11-17T20:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。