論文の概要: MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views

• arxiv url: http://arxiv.org/abs/2409.14316v1
• Date: Sun, 22 Sep 2024 05:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:15:03.714721
• Title: MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views
• Title（参考訳）: MVPGS: スパースインプットビューからガウススティングのマルチビュープリミティブを発掘する
• Authors: Wangze Xu, Huachen Gao, Shihe Shen, Rui Peng, Jianbo Jiao, Ronggang Wang,
• Abstract要約: 新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。 我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。 実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 27.47491233656671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the Neural Radiance Field (NeRF) advancement has facilitated few-shot Novel View Synthesis (NVS), which is a significant challenge in 3D vision applications. Despite numerous attempts to reduce the dense input requirement in NeRF, it still suffers from time-consumed training and rendering processes. More recently, 3D Gaussian Splatting (3DGS) achieves real-time high-quality rendering with an explicit point-based representation. However, similar to NeRF, it tends to overfit the train views for lack of constraints. In this paper, we propose \textbf{MVPGS}, a few-shot NVS method that excavates the multi-view priors based on 3D Gaussian Splatting. We leverage the recent learning-based Multi-view Stereo (MVS) to enhance the quality of geometric initialization for 3DGS. To mitigate overfitting, we propose a forward-warping method for additional appearance constraints conforming to scenes based on the computed geometry. Furthermore, we introduce a view-consistent geometry constraint for Gaussian parameters to facilitate proper optimization convergence and utilize a monocular depth regularization as compensation. Experiments show that the proposed method achieves state-of-the-art performance with real-time rendering speed. Project page: https://zezeaaa.github.io/projects/MVPGS/
• Abstract（参考訳）: 近年,Neural Radiance Field (NeRF) の進歩により,NVS (Novell View Synthesis) が実現している。 NeRFの高密度な入力要求を減らそうとする試みは数多くあるが、それでも時間を要するトレーニングとレンダリングのプロセスに悩まされている。 最近では、3D Gaussian Splatting (3DGS) が、明示的な点ベース表現でリアルタイムな高品質なレンダリングを実現している。 しかし、NeRFと同様に、制約の欠如のために列車のビューに過度に適合する傾向がある。 本稿では,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である「textbf{MVPGS}」を提案する。 我々は3DGSの幾何学的初期化の質を高めるために,最近の学習ベースマルチビューステレオ(MVS)を活用している。 オーバーフィッティングを緩和するため、計算された幾何学に基づいて、シーンに応じた外観制約を付加するフォワードウォーピング手法を提案する。 さらに、適切な最適化収束を促進するためにガウスパラメータに対するビュー一貫性幾何制約を導入し、補償として単眼深度正規化を利用する。 実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。 プロジェクトページ:https://zezeaa.github.io/projects/MVPGS/

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
  CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。 分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。 本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
  論文  参考訳（メタデータ） (2024-11-01T17:59:31Z)
• Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting [0.0]
  3次元ガウススプラッティングは、新しいビュー合成における神経放射場法を超越している。 多数のインプットビューを備えた高品質なレンダリングを生成するが、ほんの数ビューしか利用できない場合、パフォーマンスは大幅に低下する。 数発の新規ビュー合成のための奥行き認識型ガウススプラッティング法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T20:42:30Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。