論文の概要: Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.13099v1
• Date: Tue, 18 Jun 2024 23:14:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:58:20.472343
• Title: Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
• Title（参考訳）: 潜時拡散モデルを用いた秒間3次元ガウスシーンのサンプリング
• Authors: Paul Henderson, Melonie de Almeida, Daniela Ivanova, Titas Anciukevičius,
• Abstract要約: 本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。 我々は,スクラッチからでもスパースインプットビューからでも,わずか0.2秒で3Dシーンを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 3.9373541926236766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a latent diffusion model over 3D scenes, that can be trained using only 2D image data. To achieve this, we first design an autoencoder that maps multi-view images to 3D Gaussian splats, and simultaneously builds a compressed latent representation of these splats. Then, we train a multi-view diffusion model over the latent space to learn an efficient generative model. This pipeline does not require object masks nor depths, and is suitable for complex scenes with arbitrary camera positions. We conduct careful experiments on two large-scale datasets of complex real-world scenes -- MVImgNet and RealEstate10K. We show that our approach enables generating 3D scenes in as little as 0.2 seconds, either from scratch, from a single input view, or from sparse input views. It produces diverse and high-quality results while running an order of magnitude faster than non-latent diffusion models and earlier NeRF-based generative models
• Abstract（参考訳）: 本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。 そこで我々はまず,マルチビュー画像を3次元ガウススプラットにマッピングするオートエンコーダを設計し,同時にこれらのスプラットの圧縮潜在表現を構築した。 そこで我々は,効率的な生成モデルを学ぶために,潜在空間上の多視点拡散モデルを訓練する。 このパイプラインは、オブジェクトマスクや奥行きを必要とせず、任意のカメラ位置を持つ複雑なシーンに適している。 我々は,MVImgNetとRealEstate10Kという,複雑な現実世界シーンの大規模データセットを慎重に実験する。 提案手法では,スクラッチから,単一インプットビューから,あるいは疎インプットビューから,0.2秒で3Dシーンを生成することができる。 非レイテンシ拡散モデルやそれ以前のNeRFベースの生成モデルよりも桁違いに高速に実行しながら、多種多様で高品質な結果を生成する。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• 3DTopia: Large Text-to-3D Generation Model with Hybrid Diffusion Priors [85.11117452560882]
  本稿では,2段階のテキスト・ツー・3D生成システムである3DTopiaについて述べる。 3次元データから直接学習される3次元拡散の第1段階のサンプルは、テキスト条件付き3次元潜伏拡散モデルを用いており、高速なプロトタイピングのための粗い3次元サンプルを迅速に生成する。 第2段階は2次元拡散前処理を利用して、粗い3次元モデルのテクスチャを第1段階からさらに洗練し、高品質なテクスチャ生成のための潜時空間と画素空間の最適化からなる。
  論文  参考訳（メタデータ） (2024-03-04T17:26:28Z)
• LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation [51.19871052619077]
  テキストプロンプトやシングルビュー画像から高解像度の3Dモデルを生成するための新しいフレームワークであるLarge Multi-View Gaussian Model (LGM)を紹介する。 我々は,5秒以内に3Dオブジェクトを生成する高速な速度を維持しながら,トレーニング解像度を512に向上し,高解像度な3Dコンテンツ生成を実現する。
  論文  参考訳（メタデータ） (2024-02-07T17:57:03Z)
• Pyramid Diffusion for Fine 3D Large Scene Generation [56.00726092690535]
  拡散モデルは2次元画像と小型3次元オブジェクトの生成において顕著な結果を示した。 大規模な3Dシーンの合成への応用はめったに研究されていない。 本稿では,大規模拡散モデルを用いて,高品質な屋外シーンを段階的に生成するフレームワークであるPraamid Discrete Diffusion Model (PDD)を紹介する。
  論文  参考訳（メタデータ） (2023-11-20T11:24:21Z)
• Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
  スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。 提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。 強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
  論文  参考訳（メタデータ） (2023-08-27T11:52:00Z)
• 3D-aware Image Generation using 2D Diffusion Models [23.150456832947427]
  我々は、3D対応画像生成タスクをマルチビュー2Dイメージセット生成として定式化し、さらにシーケンシャルな条件なしのマルチビュー画像生成プロセスにも適用する。 本研究では,2次元拡散モデルを用いて生成的モデリング能力を向上する。 我々は,既存の手法では扱えない大規模データセットであるImageNetで,本手法を訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:03:18Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。