論文の概要: SceneCraft: Layout-Guided 3D Scene Generation

• arxiv url: http://arxiv.org/abs/2410.09049v2
• Date: Fri, 22 Nov 2024 22:32:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:15:17.775853
• Title: SceneCraft: Layout-Guided 3D Scene Generation
• Title（参考訳）: SceneCraft:レイアウトガイド付き3Dシーンジェネレーション
• Authors: Xiuyu Yang, Yunze Man, Jun-Kun Chen, Yu-Xiong Wang,
• Abstract要約: シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
• 参考スコア（独自算出の注目度）: 29.713491313796084
• License:
• Abstract: The creation of complex 3D scenes tailored to user specifications has been a tedious and challenging task with traditional 3D modeling tools. Although some pioneering methods have achieved automatic text-to-3D generation, they are generally limited to small-scale scenes with restricted control over the shape and texture. We introduce SceneCraft, a novel method for generating detailed indoor scenes that adhere to textual descriptions and spatial layout preferences provided by users. Central to our method is a rendering-based technique, which converts 3D semantic layouts into multi-view 2D proxy maps. Furthermore, we design a semantic and depth conditioned diffusion model to generate multi-view images, which are used to learn a neural radiance field (NeRF) as the final scene representation. Without the constraints of panorama image generation, we surpass previous methods in supporting complicated indoor space generation beyond a single room, even as complicated as a whole multi-bedroom apartment with irregular shapes and layouts. Through experimental analysis, we demonstrate that our method significantly outperforms existing approaches in complex indoor scene generation with diverse textures, consistent geometry, and realistic visual quality. Code and more results are available at: https://orangesodahub.github.io/SceneCraft
• Abstract（参考訳）: ユーザ仕様に合わせて複雑な3Dシーンを作成するのは、従来の3Dモデリングツールでは面倒で難しい作業でした。 いくつかの先駆的手法は自動テキスト・ツー・3D生成を実現しているが、概して形状やテクスチャを制限した小規模なシーンに限られている。 SceneCraftは,ユーザが提供するテキスト記述や空間的レイアウトの嗜好に従う,室内の詳細なシーンを生成する新しい手法である。 我々の手法の中心はレンダリングに基づく手法であり、3Dセマンティックレイアウトを多視点2Dプロキシマップに変換する。 さらに,ニューラルラディアンス場(NeRF)を最終シーン表現として学習する多視点画像を生成するための意味的・深度条件付き拡散モデルの設計を行う。 パノラマ画像生成の制約がなければ、1つの部屋を超えて複雑な屋内空間生成を支援する従来の手法を超越する。 実験により,本手法は,多様なテクスチャ,一貫した幾何学,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存の手法を著しく上回ることを示す。 コードとさらに多くの結果が、https://orangesodahub.github.io/SceneCraft.comで公開されている。

関連論文リスト

• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
  iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。 我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。 私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-08-03T06:35:09Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout Constraints [35.073500525250346]
  我々はCtrl-Roomを提案する。Ctrl-Roomは、デザイナースタイルのレイアウトとテキストプロンプトから高忠実なテクスチャを持つ説得力のある3Dルームを生成できる。 Ctrl-Roomは、個々の家具アイテムのリサイズや移動といった多目的なインタラクティブな編集操作を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T15:29:52Z)
• Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields [29.907615852310204]
  テキストプロンプトから多種多様な3Dシーンを生成できるText2NeRFを提案する。 本手法では,追加のトレーニングデータを必要としないが,入力としてシーンを自然言語で記述するのみである。
  論文  参考訳（メタデータ） (2023-05-19T10:58:04Z)
• Indoor Scene Generation from a Collection of Semantic-Segmented Depth Images [18.24156991697044]
  セマンティックセグメンテーション深度画像から学習した生成モデルを用いて室内3次元シーンを作成する手法を提案する。 特定の大きさの部屋が与えられた場合、ランダムにサンプリングされた潜伏コードから室内の3Dオブジェクトを自動的に生成する。 既存の手法と比較して,本手法はモデリングや3次元シーンの取得の作業量を効率的に削減するだけでなく,より優れたオブジェクト形状を生成する。
  論文  参考訳（メタデータ） (2021-08-20T06:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。