論文の概要: Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint

• arxiv url: http://arxiv.org/abs/2410.15391v1
• Date: Sun, 20 Oct 2024 13:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:42.457161
• Title: Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint
• Title（参考訳）: Layout-Your-3D:2Dブループリントによる制御可能かつ高精度な3D生成
• Authors: Junwei Zhou, Xueting Li, Lu Qi, Ming-Hsuan Yang,
• Abstract要約: テキストプロンプトから制御可能で構成可能な3D生成が可能なフレームワークを提案する。 提案手法は2次元レイアウトを青写真として活用し,3次元生成の精密かつ確実な制御を容易にする。
• 参考スコア（独自算出の注目度）: 61.25279122171029
• License:
• Abstract: We present Layout-Your-3D, a framework that allows controllable and compositional 3D generation from text prompts. Existing text-to-3D methods often struggle to generate assets with plausible object interactions or require tedious optimization processes. To address these challenges, our approach leverages 2D layouts as a blueprint to facilitate precise and plausible control over 3D generation. Starting with a 2D layout provided by a user or generated from a text description, we first create a coarse 3D scene using a carefully designed initialization process based on efficient reconstruction models. To enforce coherent global 3D layouts and enhance the quality of instance appearances, we propose a collision-aware layout optimization process followed by instance-wise refinement. Experimental results demonstrate that Layout-Your-3D yields more reasonable and visually appealing compositional 3D assets while significantly reducing the time required for each prompt. Additionally, Layout-Your-3D can be easily applicable to downstream tasks, such as 3D editing and object insertion. Our project page is available at:https://colezwhy.github.io/layoutyour3d/
• Abstract（参考訳）: テキストプロンプトから制御可能で構成可能な3D生成が可能なフレームワークであるLayout-Your-3Dを提案する。 既存のテキストから3Dの手法は、しばしば妥当なオブジェクトの相互作用を持つ資産を生成するのに苦労する。 これらの課題に対処するために,我々は2次元レイアウトを青写真として活用し,正確な3次元生成の制御を容易にする。 ユーザによって提供される2次元レイアウトやテキスト記述から生成される2次元レイアウトから始めると、まず、効率的な再構成モデルに基づいて慎重に設計された初期化プロセスを用いて粗い3次元シーンを作成する。 連続したグローバルな3次元レイアウトを強制し、インスタンスの外観の質を高めるために、衝突対応レイアウト最適化プロセスを提案し、その後、インスタンスワイドリファインメントを提案する。 実験の結果,Layout-Your-3Dは各プロンプトに要する時間を大幅に削減しつつ,より合理的で視覚的に魅力的な3Dアセットが得られることがわかった。 加えて、Layout-Your-3Dは3D編集やオブジェクト挿入といった下流タスクにも容易に適用できる。 私たちのプロジェクトページは、https://colezwhy.github.io/layoutyour3d/で公開されています。

関連論文リスト

• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
  iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。 我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。 私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-08-03T06:35:09Z)
• SceneTeller: Language-to-3D Scene Generation [15.209079637302905]
  本手法では,室内の物体配置を自然言語で記述し,それに対応する高品質な3Dシーンを生成する。 私たちのターンキーパイプラインは最先端の3Dシーンを生成しますが、初心者でも簡単に使用できます。
  論文  参考訳（メタデータ） (2024-07-30T10:45:28Z)
• Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
  CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。 Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。 その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-09T13:24:42Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
  本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。 合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
  論文  参考訳（メタデータ） (2023-11-09T15:50:32Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)
• Roominoes: Generating Novel 3D Floor Plans From Existing 3D Rooms [22.188206636953794]
  既存の3D部屋から新しい3Dフロアプランを作成するタスクを提案する。 1つは利用可能な2Dフロアプランを使用して、3Dルームの選択と変形をガイドし、もう1つは互換性のある3Dルームのセットを取得し、それらを新しいレイアウトに組み合わせることを学ぶ。
  論文  参考訳（メタデータ） (2021-12-10T16:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。