論文の概要: SparseGS: Real-Time 360{\deg} Sparse View Synthesis using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2312.00206v1
• Date: Thu, 30 Nov 2023 21:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:28:02.127500
• Title: SparseGS: Real-Time 360{\deg} Sparse View Synthesis using Gaussian Splatting
• Title（参考訳）: SparseGS:Gaussian Splattingを用いたリアルタイム360{\deg}スパースビュー合成
• Authors: Haolin Xiong and Sairisheek Muttukuru and Rishi Upadhyay and Pradyumna Chari and Achuta Kadambi
• Abstract要約: スパーストレーニングビューから360シーンのコヒーレント3DGSに基づく放射界のトレーニングを可能にする手法を提案する。 その結果, 暗黙の深度事前の使用は不十分であり, 背景崩壊を低減し, フローターを除去し, 目に見えない視点から整合性を高めるために, 生成的かつ明示的な制約と深度事前を統合できることが判明した。
• 参考スコア（独自算出の注目度）: 6.980693873180721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The problem of novel view synthesis has grown significantly in popularity recently with the introduction of Neural Radiance Fields (NeRFs) and other implicit scene representation methods. A recent advance, 3D Gaussian Splatting (3DGS), leverages an explicit representation to achieve real-time rendering with high-quality results. However, 3DGS still requires an abundance of training views to generate a coherent scene representation. In few shot settings, similar to NeRF, 3DGS tends to overfit to training views, causing background collapse and excessive floaters, especially as the number of training views are reduced. We propose a method to enable training coherent 3DGS-based radiance fields of 360 scenes from sparse training views. We find that using naive depth priors is not sufficient and integrate depth priors with generative and explicit constraints to reduce background collapse, remove floaters, and enhance consistency from unseen viewpoints. Experiments show that our method outperforms base 3DGS by up to 30.5% and NeRF-based methods by up to 15.6% in LPIPS on the MipNeRF-360 dataset with substantially less training and inference cost.
• Abstract（参考訳）: ニューラル・レージアンス・フィールド(NeRF)と他の暗黙的なシーン表現手法の導入により,新しいビュー合成の問題は近年,著しく人気が高まっている。 最近の進歩である3D Gaussian Splatting (3DGS)は、明示的な表現を活用し、高品質な結果でリアルタイムレンダリングを実現する。 しかし、3DGSは、コヒーレントなシーン表現を生成するために、多くのトレーニングビューを必要とする。 NeRFと同様のショット設定では、3DGSはトレーニングビューに過度に適合する傾向にあり、特にトレーニングビューの数が減少するにつれて、背景崩壊と過剰なフローターを引き起こす。 スパーストレーニングビューから360シーンのコヒーレント3DGSに基づく放射界のトレーニングを可能にする手法を提案する。 また,背景崩壊を低減し,浮動小数点を除去し,目に見えない視点から一貫性を高めるために,生成的および明示的な制約と深さ小数点を統合できることを見いだした。 実験の結果,提案手法はベース3DGSを最大30.5%,NeRFベースの手法を最大15.6%,MipNeRF-360データセット上でのLPIPSを最大15.6%上回った。

関連論文リスト

• MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
  新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。 我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。 実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-22T05:07:20Z)
• Optimizing 3D Gaussian Splatting for Sparse Viewpoint Scene Reconstruction [11.840097269724792]
  3D Gaussian Splatting (3DGS)は3Dシーン表現の有望なアプローチとして登場し、Neural Radiance Fields (NeRF)と比較して計算オーバーヘッドの低減を実現している。 SVS-GSは,3次元ガウス平滑化フィルタを統合して人工物を抑制する,スパースビューポイントシーン再構築のための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-09-05T03:18:04Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。