論文の概要: Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting

• arxiv url: http://arxiv.org/abs/2411.09823v1
• Date: Thu, 14 Nov 2024 22:15:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:22.365312
• Title: Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting
• Title（参考訳）: アーキテクト:階層的な2Dインペインティングで生き生きとしたインタラクティブな3Dシーンを生成する
• Authors: Yian Wang, Xiaowen Qiu, Jiageng Liu, Zhehuan Chen, Jiting Cai, Yufei Wang, Tsun-Hsuan Wang, Zhou Xian, Chuang Gan,
• Abstract要約: Architectは、拡散ベースの2Dイメージのインペイントを活用する、複雑で現実的な3Dエボダイド環境を作成する、生成フレームワークである。 我々のパイプラインはさらに階層的かつ反復的な塗装プロセスに拡張され、大きな家具や小さな物体の配置を連続的に生成し、シーンを豊かにする。
• 参考スコア（独自算出の注目度）: 47.014044892025346
• License:
• Abstract: Creating large-scale interactive 3D environments is essential for the development of Robotics and Embodied AI research. Current methods, including manual design, procedural generation, diffusion-based scene generation, and large language model (LLM) guided scene design, are hindered by limitations such as excessive human effort, reliance on predefined rules or training datasets, and limited 3D spatial reasoning ability. Since pre-trained 2D image generative models better capture scene and object configuration than LLMs, we address these challenges by introducing Architect, a generative framework that creates complex and realistic 3D embodied environments leveraging diffusion-based 2D image inpainting. In detail, we utilize foundation visual perception models to obtain each generated object from the image and leverage pre-trained depth estimation models to lift the generated 2D image to 3D space. Our pipeline is further extended to a hierarchical and iterative inpainting process to continuously generate placement of large furniture and small objects to enrich the scene. This iterative structure brings the flexibility for our method to generate or refine scenes from various starting points, such as text, floor plans, or pre-arranged environments.
• Abstract（参考訳）: 大規模な対話型3D環境を作ることは、ロボティクスとエボダイドAI研究の発展に不可欠である。 手動設計、手続き生成、拡散に基づくシーン生成、大規模言語モデル(LLM)誘導シーン設計といった現在の手法は、過度な人的努力、事前定義されたルールやトレーニングデータセットへの依存、空間的推論能力の制限といった制限によって妨げられている。 事前学習された2D画像生成モデルは、LLMよりもシーンやオブジェクトの設定をよりよくキャプチャするので、拡散に基づく2D画像の描画を利用した複雑で現実的な3Dエボダイド環境を作成するArchitectを導入することで、これらの課題に対処する。 より詳しくは、基礎的な視覚知覚モデルを用いて、画像から生成された各オブジェクトを取得し、事前学習した深度推定モデルを利用して、生成された2次元画像を3次元空間に引き上げる。 我々のパイプラインはさらに階層的かつ反復的な塗装プロセスに拡張され、大きな家具や小さな物体の配置を連続的に生成し、シーンを豊かにする。 この反復的な構造は、テキスト、フロアプラン、事前配置された環境など、様々な出発点からシーンを生成し、洗練するための我々の方法の柔軟性をもたらす。

関連論文リスト

• BIFRÖST: 3D-Aware Image compositing with Language Instructions [27.484947109237964]
  Bifr"ostは、命令ベースの画像合成を実行するために拡散モデルに基づいて構築された、新しい3D対応フレームワークである。 Bifr"ostは、MLLMを2.5D位置予測器として訓練し、デプスマップを生成プロセス中に余分な条件として統合することで問題に対処する。
  論文  参考訳（メタデータ） (2024-10-24T18:35:12Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
  3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。 フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。 そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
  論文  参考訳（メタデータ） (2024-07-21T14:52:51Z)
• MaGRITTe: Manipulative and Generative 3D Realization from Image, Topview and Text [52.296914125558864]
  ユーザ特定条件からの3Dシーンの生成は、3Dアプリケーションの生産負担を軽減するための有望な道を提供する。 以前の研究では、限られた制御条件のため、望まれるシーンを実現するためにかなりの努力が必要だった。 部分画像,トップビューに表現されたレイアウト情報,テキストプロンプトを用いて,マルチモーダル条件下での3Dシーンの制御と生成を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T12:50:25Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。