論文の概要: LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes
- arxiv url: http://arxiv.org/abs/2311.13384v2
- Date: Thu, 23 Nov 2023 11:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 12:27:52.740019
- Title: LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes
- Title(参考訳): LucidDreamer:3Dガウス撮影シーンのドメインフリー生成
- Authors: Jaeyoung Chung, Suyoung Lee, Hyeongjin Nam, Jaerin Lee, Kyoung Mu Lee
- Abstract要約: しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。
ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。
LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
- 参考スコア(独自算出の注目度): 52.31402192831474
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the widespread usage of VR devices and contents, demands for 3D scene
generation techniques become more popular. Existing 3D scene generation models,
however, limit the target scene to specific domain, primarily due to their
training strategies using 3D scan dataset that is far from the real-world. To
address such limitation, we propose LucidDreamer, a domain-free scene
generation pipeline by fully leveraging the power of existing large-scale
diffusion-based generative model. Our LucidDreamer has two alternate steps:
Dreaming and Alignment. First, to generate multi-view consistent images from
inputs, we set the point cloud as a geometrical guideline for each image
generation. Specifically, we project a portion of point cloud to the desired
view and provide the projection as a guidance for inpainting using the
generative model. The inpainted images are lifted to 3D space with estimated
depth maps, composing a new points. Second, to aggregate the new points into
the 3D scene, we propose an aligning algorithm which harmoniously integrates
the portions of newly generated 3D scenes. The finally obtained 3D scene serves
as initial points for optimizing Gaussian splats. LucidDreamer produces
Gaussian splats that are highly-detailed compared to the previous 3D scene
generation methods, with no constraint on domain of the target scene. Project
page: https://luciddreamer-cvlab.github.io/
- Abstract(参考訳): VR機器やコンテンツの普及に伴い、3Dシーン生成技術への需要が高まっている。
しかし、既存の3Dシーン生成モデルでは、ターゲットシーンを特定のドメインに制限している。
このような制限に対処するために,既存の大規模拡散ベース生成モデルのパワーをフル活用したドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。
我々のLucidDreamerには、DreamingとAlignmentという2つの別のステップがあります。
まず、入力から複数視点の一貫した画像を生成するため、ポイントクラウドを画像生成ごとに幾何学的ガイドラインとして設定する。
具体的には、ポイントクラウドの一部を所望の視点に投影し、生成モデルを用いて絵を描くためのガイダンスとしてプロジェクションを提供する。
塗装された画像は、推定深度マップで3D空間に持ち上げられ、新しいポイントを構成する。
次に,新たなポイントを3Dシーンに集約するために,新たに生成された3Dシーンの一部を調和的に統合するアライメントアルゴリズムを提案する。
最終的に得られた3Dシーンはガウススプラッターを最適化する最初のポイントとなる。
LucidDreamerは、従来の3Dシーン生成手法と比較して、ターゲットシーンのドメインに制約がなく、非常に詳細なガウススプラットを生成する。
プロジェクトページ: https://luciddreamer-cvlab.github.io/
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided
Generative Gaussian Splatting [54.39663556987393]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳(メタデータ) (2024-02-11T13:40:08Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳(メタデータ) (2023-12-13T18:59:30Z) - NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。
関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion
Prior [40.67100127167502]
本稿では,高忠実でコヒーレントな3Dオブジェクトを生成する階層型3Dコンテンツ生成手法であるDreamCraft3Dを提案する。
幾何学的彫刻とテクスチャ強化の段階をガイドするために, 2次元参照画像を活用することで, この問題に対処する。
階層的な世代を通して調整された3Dプリエントにより、DreamCraft3Dはフォトリアリスティックなレンダリングを備えたコヒーレントな3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2023-10-25T17:50:10Z) - SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。
フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
論文 参考訳(メタデータ) (2023-02-02T18:59:16Z) - How Privacy-Preserving are Line Clouds? Recovering Scene Details from 3D
Lines [49.06411148698547]
本稿では,3次元シーン形状に関する情報がライン雲に保存されていることを示す。
我々のアプローチは、直線間の最接近点が元の3d点に良い近似をもたらすという観測に基づいている。
論文 参考訳(メタデータ) (2021-03-08T21:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。