論文の概要: Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2411.00144v3
- Date: Wed, 12 Mar 2025 03:26:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:34:55.473661
- Title: Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis
- Title（参考訳）: 少数ショット新規視点合成のための自己組立ガウス平滑化
- Authors: Chen Zhao, Xuan Wang, Tong Zhang, Saqib Javed, Mathieu Salzmann,
- Abstract要約: 3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した
本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。
我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。
LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
- 参考スコア（独自算出の注目度）: 55.561961365113554
- License:
- Abstract: 3D Gaussian Splatting (3DGS) has demonstrated remarkable effectiveness in novel view synthesis (NVS). However, 3DGS tends to overfit when trained with sparse views, limiting its generalization to novel viewpoints. In this paper, we address this overfitting issue by introducing Self-Ensembling Gaussian Splatting (SE-GS). We achieve self-ensembling by incorporating an uncertainty-aware perturbation strategy during training. A $\mathbf{\Delta}$-model and a $\mathbf{\Sigma}$-model are jointly trained on the available images. The $\mathbf{\Delta}$-model is dynamically perturbed based on rendering uncertainty across training steps, generating diverse perturbed models with negligible computational overhead. Discrepancies between the $\mathbf{\Sigma}$-model and these perturbed models are minimized throughout training, forming a robust ensemble of 3DGS models. This ensemble, represented by the $\mathbf{\Sigma}$-model, is then used to generate novel-view images during inference. Experimental results on the LLFF, Mip-NeRF360, DTU, and MVImgNet datasets demonstrate that our approach enhances NVS quality under few-shot training conditions, outperforming existing state-of-the-art methods. The code is released at: https://sailor-z.github.io/projects/SEGS.html.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は新規なビュー合成(NVS)において顕著な効果を示した。
しかし、3DGSはスパースビューで訓練すると過度に適合する傾向にあり、その一般化は新しい視点に限られる。
本稿では,Self-Ensembling Gaussian Splatting (SE-GS)を導入することで,この問題に対処する。
我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。
$\mathbf{\Delta}$-modelと$\mathbf{\Sigma}$-modelは、利用可能なイメージで共同でトレーニングされる。
$\mathbf{\Delta}$-modelは、トレーニングステップ間のレンダリングの不確実性に基づいて動的に摂動し、無視できる計算オーバーヘッドを持つ多様な摂動モデルを生成する。
$\mathbf{\Sigma}$-モデルとこれらの摂動モデルとの相違は、トレーニングを通して最小化され、3DGSモデルの堅牢なアンサンブルを形成する。
このアンサンブルは$\mathbf{\Sigma}$-modelで表現され、推論中に新しいビュー画像を生成するために使用される。
LLFF, Mip-NeRF360, DTU, MVImgNet データセットによる実験結果から,NVS の品質向上が達成された。
コードは https://sailor-z.github.io/projects/SEGS.html で公開されている。
関連論文リスト
- Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。
多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
論文 参考訳（メタデータ） (2025-02-10T19:49:54Z) - GaussianSpa: An "Optimizing-Sparsifying" Simplification Framework for Compact and High-Quality 3D Gaussian Splatting [12.342660713851227]
3D Gaussian Splatting (3DGS) は、ガウス関数の連続的な集合を利用して、新しいビュー合成の主流として登場した。
3DGSは、ガウシアンの多さを記憶するためのかなりのメモリ要件に悩まされており、その実用性を妨げている。
コンパクトで高品質な3DGSのための最適化ベースの単純化フレームワークであるGaussianSpaを紹介する。
論文 参考訳（メタデータ） (2024-11-09T00:38:06Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - Near-Optimal Streaming Heavy-Tailed Statistical Estimation with Clipped SGD [16.019880089338383]
Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsff
論文 参考訳（メタデータ） (2024-10-26T10:14:17Z) - MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。
我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。
実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2024-09-22T05:07:20Z) - Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。
正規化として有効ランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - Dynamic angular synchronization under smoothness constraints [9.196539011582361]
統計モデルにより平均二乗誤差(MSE)の漸近的回復を保証する。
MSE が 0 に収束するのは、静的条件よりも穏やかな条件で$T$ が増加するためである。
論文 参考訳（メタデータ） (2024-06-06T13:36:41Z) - HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。
高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。
私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
論文 参考訳（メタデータ） (2024-03-21T16:28:58Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。