論文の概要: LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors
- arxiv url: http://arxiv.org/abs/2409.03456v2
- Date: Wed, 18 Sep 2024 12:12:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 22:22:45.931778
- Title: LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors
- Title（参考訳）: LM-Gaussian:大型モデルプリミティブによるスパースビュー3次元ガウススプラッティング
- Authors: Hanyang Yu, Xiaoxiao Long, Ping Tan,
- Abstract要約: スパースビューの再構築は本質的に不適切であり、制約を受けていない。
本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。
提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
- 参考スコア（独自算出の注目度）: 34.91966359570867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We aim to address sparse-view reconstruction of a 3D scene by leveraging priors from large-scale vision models. While recent advancements such as 3D Gaussian Splatting (3DGS) have demonstrated remarkable successes in 3D reconstruction, these methods typically necessitate hundreds of input images that densely capture the underlying scene, making them time-consuming and impractical for real-world applications. However, sparse-view reconstruction is inherently ill-posed and under-constrained, often resulting in inferior and incomplete outcomes. This is due to issues such as failed initialization, overfitting on input images, and a lack of details. To mitigate these challenges, we introduce LM-Gaussian, a method capable of generating high-quality reconstructions from a limited number of images. Specifically, we propose a robust initialization module that leverages stereo priors to aid in the recovery of camera poses and the reliable point clouds. Additionally, a diffusion-based refinement is iteratively applied to incorporate image diffusion priors into the Gaussian optimization process to preserve intricate scene details. Finally, we utilize video diffusion priors to further enhance the rendered images for realistic visual effects. Overall, our approach significantly reduces the data acquisition requirements compared to previous 3DGS methods. We validate the effectiveness of our framework through experiments on various public datasets, demonstrating its potential for high-quality 360-degree scene reconstruction. Visual results are on our website.
- Abstract（参考訳）: 本研究では,大規模視覚モデルからの事前情報を活用することで,3次元シーンのスパースビュー再構築を実現することを目的とする。
近年の3Dガウス・スプラッティング(3DGS)のような進歩は、3D再構成において顕著な成果を上げているが、これらの手法は典型的には数百の入力画像を必要とするため、背景のシーンを密に捉え、現実のアプリケーションには時間がかかり、実用的ではない。
しかし、スパースビューの再構築は本質的に不適切であり、制約が低く、多くの場合、劣等な結果と不完全な結果をもたらす。
これは初期化の失敗、入力イメージの過度な適合、詳細の欠如などの問題によるものである。
これらの課題を軽減するために,限られた画像から高品質な再構成を生成できるLM-Gaussianを導入する。
具体的には,カメラポーズと信頼性のある点雲の回復を支援するために,ステレオ先行情報を活用する頑健な初期化モジュールを提案する。
さらに、拡散に基づく精細化を反復的に適用して、画像拡散先行をガウス最適化プロセスに組み込んで、複雑なシーンの詳細を保存する。
最後に,映像拡散前処理を利用して,リアルな視覚効果のためのレンダリング画像をさらに強化する。
提案手法は,従来の3DGS法と比較して,データ取得要求を大幅に削減する。
我々は,様々な公開データセットを用いた実験を通じて,フレームワークの有効性を検証し,高品質な360度シーン再構築の可能性を示した。
ビジュアルな結果は私たちのWebサイトにあります。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - Gaussian Scenes: Pose-Free Sparse-View Scene Reconstruction using Depth-Enhanced Diffusion Priors [5.407319151576265]
限られた数の2D画像から360ドル(約3,600円)のポーズのないシーンを再現するための生成的アプローチを提案する。
本稿では,3次元シーンの描画や深度マップに欠落した細部を描画し,アーティファクトを除去するインストラクション追従RGBD拡散モデルを提案する。
論文 参考訳（メタデータ） (2024-11-24T19:34:58Z) - USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting [45.246178004823534]
スパイクカメラは、0-1ビットストリームを40kHzで撮影する革新的なニューロモルフィックカメラとして、ますます3D再構成タスクに採用されている。
以前のスパイクベースの3D再構成アプローチでは、ケースケースのパイプラインを使うことが多い。
本稿では,スパイクに基づく画像再構成,ポーズ補正,ガウス的スプラッティングをエンドツーエンドのフレームワークに統一する,相乗的最適化フレームワーク textbfUSP-Gaussian を提案する。
論文 参考訳（メタデータ） (2024-11-15T14:15:16Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。
提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
論文 参考訳（メタデータ） (2024-10-26T00:52:46Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。
SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。
提案手法は,9つの入力ビューから360度映像全体を生成する。
論文 参考訳（メタデータ） (2024-05-26T11:01:39Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。