論文の概要: Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint
- arxiv url: http://arxiv.org/abs/2410.15391v1
- Date: Sun, 20 Oct 2024 13:41:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:18:42.457161
- Title: Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint
- Title(参考訳): Layout-Your-3D:2Dブループリントによる制御可能かつ高精度な3D生成
- Authors: Junwei Zhou, Xueting Li, Lu Qi, Ming-Hsuan Yang,
- Abstract要約: テキストプロンプトから制御可能で構成可能な3D生成が可能なフレームワークを提案する。
提案手法は2次元レイアウトを青写真として活用し,3次元生成の精密かつ確実な制御を容易にする。
- 参考スコア(独自算出の注目度): 61.25279122171029
- License:
- Abstract: We present Layout-Your-3D, a framework that allows controllable and compositional 3D generation from text prompts. Existing text-to-3D methods often struggle to generate assets with plausible object interactions or require tedious optimization processes. To address these challenges, our approach leverages 2D layouts as a blueprint to facilitate precise and plausible control over 3D generation. Starting with a 2D layout provided by a user or generated from a text description, we first create a coarse 3D scene using a carefully designed initialization process based on efficient reconstruction models. To enforce coherent global 3D layouts and enhance the quality of instance appearances, we propose a collision-aware layout optimization process followed by instance-wise refinement. Experimental results demonstrate that Layout-Your-3D yields more reasonable and visually appealing compositional 3D assets while significantly reducing the time required for each prompt. Additionally, Layout-Your-3D can be easily applicable to downstream tasks, such as 3D editing and object insertion. Our project page is available at:https://colezwhy.github.io/layoutyour3d/
- Abstract(参考訳): テキストプロンプトから制御可能で構成可能な3D生成が可能なフレームワークであるLayout-Your-3Dを提案する。
既存のテキストから3Dの手法は、しばしば妥当なオブジェクトの相互作用を持つ資産を生成するのに苦労する。
これらの課題に対処するために,我々は2次元レイアウトを青写真として活用し,正確な3次元生成の制御を容易にする。
ユーザによって提供される2次元レイアウトやテキスト記述から生成される2次元レイアウトから始めると、まず、効率的な再構成モデルに基づいて慎重に設計された初期化プロセスを用いて粗い3次元シーンを作成する。
連続したグローバルな3次元レイアウトを強制し、インスタンスの外観の質を高めるために、衝突対応レイアウト最適化プロセスを提案し、その後、インスタンスワイドリファインメントを提案する。
実験の結果,Layout-Your-3Dは各プロンプトに要する時間を大幅に削減しつつ,より合理的で視覚的に魅力的な3Dアセットが得られることがわかった。
加えて、Layout-Your-3Dは3D編集やオブジェクト挿入といった下流タスクにも容易に適用できる。
私たちのプロジェクトページは、https://colezwhy.github.io/layoutyour3d/で公開されています。
関連論文リスト
- Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳(メタデータ) (2024-07-09T13:24:42Z) - IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality
3D Generation [96.32684334038278]
本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。
画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。
IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
論文 参考訳(メタデータ) (2024-02-13T18:59:51Z) - GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳(メタデータ) (2024-02-11T13:40:08Z) - Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。
2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。
合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文 参考訳(メタデータ) (2023-11-09T15:50:32Z) - DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion
Prior [40.67100127167502]
本稿では,高忠実でコヒーレントな3Dオブジェクトを生成する階層型3Dコンテンツ生成手法であるDreamCraft3Dを提案する。
幾何学的彫刻とテクスチャ強化の段階をガイドするために, 2次元参照画像を活用することで, この問題に対処する。
階層的な世代を通して調整された3Dプリエントにより、DreamCraft3Dはフォトリアリスティックなレンダリングを備えたコヒーレントな3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2023-10-25T17:50:10Z) - CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。
合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文 参考訳(メタデータ) (2023-03-21T17:59:02Z) - Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。
提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。
3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
論文 参考訳(メタデータ) (2022-11-25T15:03:32Z) - Can We Solve 3D Vision Tasks Starting from A 2D Vision Transformer? [111.11502241431286]
視覚変換器(ViT)は2次元画像理解タスクの解決に有効であることが証明されている。
2Dおよび3Dタスク用のViTは、これまでほとんど転送できない、非常に異なるアーキテクチャ設計を採用してきた。
本稿では,標準的な2D ViTアーキテクチャを用いて,3次元視覚世界を理解するという魅力的な約束を示す。
論文 参考訳(メタデータ) (2022-09-15T03:34:58Z) - Roominoes: Generating Novel 3D Floor Plans From Existing 3D Rooms [22.188206636953794]
既存の3D部屋から新しい3Dフロアプランを作成するタスクを提案する。
1つは利用可能な2Dフロアプランを使用して、3Dルームの選択と変形をガイドし、もう1つは互換性のある3Dルームのセットを取得し、それらを新しいレイアウトに組み合わせることを学ぶ。
論文 参考訳(メタデータ) (2021-12-10T16:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。