論文の概要: DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation Pattern Sampling

• arxiv url: http://arxiv.org/abs/2404.03575v2
• Date: Fri, 19 Jul 2024 07:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 23:27:33.446582
• Title: DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation Pattern Sampling
• Title（参考訳）: DreamScene: フォーメーションパターンサンプリングによる3Dガウスに基づくテキストから3Dのシーン生成
• Authors: Haoran Li, Haolin Shi, Wenli Zhang, Wenjun Wu, Yong Liao, Lin Wang, Lik-hang Lee, Pengyuan Zhou,
• Abstract要約: 本稿では,上記の3つの課題に主に2つの戦略を用いて対処する,新しいテキストから3Dシーン生成フレームワークDreamSceneを提案する。 まずDreamSceneは、3Dオブジェクトの生成パターンによってガイドされるマルチステップサンプリング戦略であるFormation Pattern Smpling(FPS)を採用して、高速でセマンティックにリッチで高品質な表現を形成する。 第二に、DreamSceneは、屋内と屋外の両方に特化して設計されたプログレッシブな3段階カメラサンプリング戦略を採用しており、オブジェクト環境統合とシーン全体の3D一貫性を効果的に確保している。
• 参考スコア（独自算出の注目度）: 17.807481666320825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-3D scene generation holds immense potential for the gaming, film, and architecture sectors. Despite significant progress, existing methods struggle with maintaining high quality, consistency, and editing flexibility. In this paper, we propose DreamScene, a 3D Gaussian-based novel text-to-3D scene generation framework, to tackle the aforementioned three challenges mainly via two strategies. First, DreamScene employs Formation Pattern Sampling (FPS), a multi-timestep sampling strategy guided by the formation patterns of 3D objects, to form fast, semantically rich, and high-quality representations. FPS uses 3D Gaussian filtering for optimization stability, and leverages reconstruction techniques to generate plausible textures. Second, DreamScene employs a progressive three-stage camera sampling strategy, specifically designed for both indoor and outdoor settings, to effectively ensure object-environment integration and scene-wide 3D consistency. Last, DreamScene enhances scene editing flexibility by integrating objects and environments, enabling targeted adjustments. Extensive experiments validate DreamScene's superiority over current state-of-the-art techniques, heralding its wide-ranging potential for diverse applications. Code and demos will be released at https://dreamscene-project.github.io .
• Abstract（参考訳）: テキストから3Dのシーン生成は、ゲーム、映画、建築の分野で大きな可能性を秘めている。 大幅な進歩にもかかわらず、既存のメソッドは高品質、一貫性、編集の柔軟性を維持するのに苦労している。 本稿では,前述の3つの課題に主に2つの戦略を用いて取り組むために,3次元ガウスに基づく新しい3次元シーン生成フレームワークであるDreamSceneを提案する。 まずDreamSceneは、3Dオブジェクトの生成パターンによってガイドされるマルチステップサンプリング戦略であるFormation Pattern Smpling(FPS)を採用して、高速でセマンティックにリッチで高品質な表現を形成する。 FPSは最適化安定性のために3Dガウスフィルタを使用し、再現技術を活用して可塑性テクスチャを生成する。 第二に、DreamSceneは、屋内と屋外の両方に特化して設計されたプログレッシブな3段階カメラサンプリング戦略を採用しており、オブジェクト環境統合とシーン全体の3D一貫性を効果的に確保している。 最後にDreamSceneは、オブジェクトと環境を統合することでシーン編集の柔軟性を高め、ターゲットの調整を可能にする。 広範囲にわたる実験は、現在の最先端技術よりもドリームシーンの優位性を検証し、幅広い応用の可能性を強調した。 コードとデモはhttps://dreamscene-project.github.ioで公開される。

関連論文リスト

• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• 3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting [100.94916668527544]
  既存の方法は、個々の2Dオブジェクトまたは3Dグローバルシーン編集にのみ焦点をあてる。 本稿では,新鮮で統一的なシーン編集フレームワークである3DitSceneを提案する。 2Dから3Dへのシームレスな編集が可能で、シーン構成や個々のオブジェクトを正確に制御できる。
  論文  参考訳（メタデータ） (2024-05-28T17:59:01Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
  しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。 ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。 LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
  論文  参考訳（メタデータ） (2023-11-22T13:27:34Z)
• DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior [40.67100127167502]
  本稿では,高忠実でコヒーレントな3Dオブジェクトを生成する階層型3Dコンテンツ生成手法であるDreamCraft3Dを提案する。 幾何学的彫刻とテクスチャ強化の段階をガイドするために, 2次元参照画像を活用することで, この問題に対処する。 階層的な世代を通して調整された3Dプリエントにより、DreamCraft3Dはフォトリアリスティックなレンダリングを備えたコヒーレントな3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2023-10-25T17:50:10Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。