論文の概要: LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes

• arxiv url: http://arxiv.org/abs/2311.13384v1
• Date: Wed, 22 Nov 2023 13:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:06:04.073342
• Title: LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes
• Title（参考訳）: LucidDreamer:3Dガウス撮影シーンのドメインフリー生成
• Authors: Jaeyoung Chung, Suyoung Lee, Hyeongjin Nam, Jaerin Lee, Kyoung Mu Lee
• Abstract要約: しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。 ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。 LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
• 参考スコア（独自算出の注目度）: 52.31402192831474
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the widespread usage of VR devices and contents, demands for 3D scene generation techniques become more popular. Existing 3D scene generation models, however, limit the target scene to specific domain, primarily due to their training strategies using 3D scan dataset that is far from the real-world. To address such limitation, we propose LucidDreamer, a domain-free scene generation pipeline by fully leveraging the power of existing large-scale diffusion-based generative model. Our LucidDreamer has two alternate steps: Dreaming and Alignment. First, to generate multi-view consistent images from inputs, we set the point cloud as a geometrical guideline for each image generation. Specifically, we project a portion of point cloud to the desired view and provide the projection as a guidance for inpainting using the generative model. The inpainted images are lifted to 3D space with estimated depth maps, composing a new points. Second, to aggregate the new points into the 3D scene, we propose an aligning algorithm which harmoniously integrates the portions of newly generated 3D scenes. The finally obtained 3D scene serves as initial points for optimizing Gaussian splats. LucidDreamer produces Gaussian splats that are highly-detailed compared to the previous 3D scene generation methods, with no constraint on domain of the target scene.
• Abstract（参考訳）: VR機器やコンテンツの普及に伴い、3Dシーン生成技術への需要が高まっている。 しかし、既存の3Dシーン生成モデルでは、ターゲットシーンを特定のドメインに制限している。 このような制限に対処するために,既存の大規模拡散ベース生成モデルのパワーをフル活用したドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。 我々のLucidDreamerには、DreamingとAlignmentという2つの別のステップがあります。 まず、入力から複数視点の一貫した画像を生成するため、ポイントクラウドを画像生成ごとに幾何学的ガイドラインとして設定する。 具体的には、ポイントクラウドの一部を所望の視点に投影し、生成モデルを用いて絵を描くためのガイダンスとしてプロジェクションを提供する。 塗装された画像は、推定深度マップで3D空間に持ち上げられ、新しいポイントを構成する。 次に,新たなポイントを3Dシーンに集約するために,新たに生成された3Dシーンの一部を調和的に統合するアライメントアルゴリズムを提案する。 最終的に得られた3Dシーンはガウススプラッターを最適化する最初のポイントとなる。 LucidDreamerは、従来の3Dシーン生成手法と比較して、ターゲットシーンのドメインに制約がなく、非常に詳細なガウススプラットを生成する。

関連論文リスト

• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。