論文の概要: Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

• arxiv url: http://arxiv.org/abs/2404.06780v1
• Date: Wed, 10 Apr 2024 06:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:19:53.029972
• Title: Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior
• Title（参考訳）: アーバンアーキテクト:レイアウトを前にした3D都市シーンをステアブルに作り出す
• Authors: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang,
• Abstract要約: 合成3Dレイアウト表現をテキストから3Dのパラダイムに導入し、さらに先行として機能する。 単純な幾何学的構造と明示的な配置関係を持つ意味的プリミティブの集合から構成される。 また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。
• 参考スコア（独自算出の注目度）: 43.14168074750301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.
• Abstract（参考訳）: テキスト・ツー・3D生成は大規模テキスト・ツー・イメージ拡散モデルによって顕著な成功を収めた。 それでも、方法論を都市規模にスケールアップするためのパラダイムは存在しない。 多くの要素、複雑な配置関係、大規模で特徴付けられる都市景観は、効果的なモデル最適化のための曖昧なテキスト記述の解釈可能性に対する大きな障壁となる。 本研究では,テキストから3Dのパラダイムに合成3Dレイアウトの表現を導入することで,その制約を克服する。 単純な幾何学的構造と明示的な配置関係を持つセマンティックプリミティブのセットで構成され、テキスト記述を補完し、ステアブル生成を可能にする。 そこで, モデル最適化の不整合に対処するため, 1) レイアウト誘導変分スコア蒸留を導入する。 3次元レイアウトの幾何学的および意味的な制約を伴って、スコア蒸留サンプリングプロセスの条件付けを行う。 2) 都市景観の非有界性に対処するため, 都市景観の大規模化に順応し, スケーラブル・ハッシュ・グリッド構造で3次元シーンを表現した。 大規模な実験により、初めて1000m以上の走行距離をカバーする大規模都市にテキスト・ツー・3D生成を拡張できるフレームワークが実証された。 また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。 公式サイト:https://urbanarchitect.github.io

関連論文リスト

• LAYOUTDREAMER: Physics-guided Layout for Text-to-3D Compositional Scene Generation [5.424048651554831]
  テキストによる高品質で物理的に一貫した構成シーン生成を容易にするために,3Dガウススプラッティング(3DGS)を利用するフレームワークを提案する。 具体的には、テキストプロンプトが与えられた場合、シーングラフに変換し、初期構成型3Dガウスの密度とレイアウトを適応的に調整する。 シーングラフから指示された依存関係を抽出することにより、現実性と柔軟性の両方を確保するために、物理的およびレイアウトエネルギーを調整します。
  論文  参考訳（メタデータ） (2025-02-04T02:51:37Z)
• Layout2Scene: 3D Semantic Layout Guided Scene Generation via Geometry and Appearance Diffusion Priors [52.63385546943866]
  本稿では,3次元オブジェクト位置の正確な制御をインジェクションするプロンプトとして,追加のセマンティックレイアウトを用いたテキスト・ツー・シーン生成手法(Layout2Scene)を提案する。 幾何学および外見生成における2次元拡散先行をフル活用するために,意味誘導幾何拡散モデルと意味誘導幾何誘導拡散モデルを導入する。 我々の手法は、最先端のアプローチに比べて、より可塑性でリアルなシーンを生成することができる。
  論文  参考訳（メタデータ） (2025-01-05T12:20:13Z)
• CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
  CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。 提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。 生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
  論文  参考訳（メタデータ） (2024-06-07T14:49:00Z)
• Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
  UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T11:54:35Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。