論文の概要: Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2411.00144v1
- Date: Thu, 31 Oct 2024 18:43:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:46:28.890885
- Title: Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis
- Title（参考訳）: 新規視点合成のための自己組立ガウス平滑化
- Authors: Chen Zhao, Xuan Wang, Tong Zhang, Saqib Javed, Mathieu Salzmann,
- Abstract要約: 3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示した
しかし、3DGSモデルはスパースポーズのビューで訓練すると過度に適合する傾向にあり、より広いポーズのバリエーションに対して一般化能力を制限する。
オーバーフィッティング問題を緩和するために, 自己理解型ガウススプラッティング (SE-GS) アプローチを導入する。
- 参考スコア（独自算出の注目度）: 55.561961365113554
- License:
- Abstract: 3D Gaussian Splatting (3DGS) has demonstrated remarkable effectiveness for novel view synthesis (NVS). However, the 3DGS model tends to overfit when trained with sparse posed views, limiting its generalization capacity for broader pose variations. In this paper, we alleviate the overfitting problem by introducing a self-ensembling Gaussian Splatting (SE-GS) approach. We present two Gaussian Splatting models named the $\mathbf{\Sigma}$-model and the $\mathbf{\Delta}$-model. The $\mathbf{\Sigma}$-model serves as the primary model that generates novel-view images during inference. At the training stage, the $\mathbf{\Sigma}$-model is guided away from specific local optima by an uncertainty-aware perturbing strategy. We dynamically perturb the $\mathbf{\Delta}$-model based on the uncertainties of novel-view renderings across different training steps, resulting in diverse temporal models sampled from the Gaussian parameter space without additional training costs. The geometry of the $\mathbf{\Sigma}$-model is regularized by penalizing discrepancies between the $\mathbf{\Sigma}$-model and the temporal samples. Therefore, our SE-GS conducts an effective and efficient regularization across a large number of Gaussian Splatting models, resulting in a robust ensemble, the $\mathbf{\Sigma}$-model. Experimental results on the LLFF, Mip-NeRF360, DTU, and MVImgNet datasets show that our approach improves NVS quality with few-shot training views, outperforming existing state-of-the-art methods. The code is released at https://github.com/sailor-z/SE-GS.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は新規なビュー合成(NVS)に顕著な効果を示した。
しかし、3DGSモデルはスパースポーズのビューで訓練すると過度に適合する傾向にあり、より広いポーズのバリエーションに対して一般化能力を制限する。
本稿では,自己認識型ガウス・スプレイティング (SE-GS) アプローチを導入することで,過度に適合する問題を緩和する。
我々は、$\mathbf{\Sigma}$-model と $\mathbf{\Delta}$-model という2つのガウススプラッティングモデルを示す。
$\mathbf{\Sigma}$-modelは推論中に新しいビュー画像を生成する主要なモデルとして機能する。
トレーニング段階では、$\mathbf{\Sigma}$-modelは、不確実性を認識した摂動戦略によって特定の局所最適化から導かれる。
我々は、異なるトレーニングステップにわたる新しいビューレンダリングの不確実性に基づいて、$\mathbf{\Delta}$-modelを動的に摂動する。
$\mathbf{\Sigma}$-モデルの幾何学は、$\mathbf{\Sigma}$-モデルと時間サンプルの間の相違をペンナライズすることによって正規化される。
したがって、SE-GSは多数のガウススプラッティングモデルに対して効率的かつ効率的な正則化を行い、その結果、ロバストなアンサンブルである$\mathbf{\Sigma}$-モデルとなる。
LLFF, Mip-NeRF360, DTU, MVImgNet のデータセットによる実験結果から,NVS の品質が向上することを示す。
コードはhttps://github.com/sailor-z/SE-GSで公開されている。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - GaussianSpa: An "Optimizing-Sparsifying" Simplification Framework for Compact and High-Quality 3D Gaussian Splatting [12.342660713851227]
3D Gaussian Splatting (3DGS) は、ガウス関数の連続的な集合を利用して、新しいビュー合成の主流として登場した。
3DGSは、ガウシアンの多さを記憶するためのかなりのメモリ要件に悩まされており、その実用性を妨げている。
コンパクトで高品質な3DGSのための最適化ベースの単純化フレームワークであるGaussianSpaを紹介する。
論文 参考訳（メタデータ） (2024-11-09T00:38:06Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - Near-Optimal Streaming Heavy-Tailed Statistical Estimation with Clipped SGD [16.019880089338383]
Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsff
論文 参考訳（メタデータ） (2024-10-26T10:14:17Z) - MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。
我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。
実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2024-09-22T05:07:20Z) - Dynamic angular synchronization under smoothness constraints [9.196539011582361]
統計モデルにより平均二乗誤差(MSE)の漸近的回復を保証する。
MSE が 0 に収束するのは、静的条件よりも穏やかな条件で$T$ が増加するためである。
論文 参考訳（メタデータ） (2024-06-06T13:36:41Z) - HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。
高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。
私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
論文 参考訳（メタデータ） (2024-03-21T16:28:58Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - Using Deep Learning to Improve Ensemble Smoother: Applications to
Subsurface Characterization [2.4373900721120285]
エンサンブルスムース(ES)は様々な研究分野で広く使われている。
ES$_text(DL)$は、複雑なデータ同化アプリケーションにおけるESの更新スキームである。
DLに基づくES法,すなわちES$_text(DL)$はより汎用的で柔軟であることを示す。
論文 参考訳（メタデータ） (2020-02-21T02:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。