Fugu-MT 論文翻訳(概要): Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis

論文の概要: Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis

arxiv url: http://arxiv.org/abs/2411.00144v2
Date: Fri, 22 Nov 2024 10:39:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-25 18:36:10.410603
Title: Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis
Title（参考訳）: 少数ショット新規視点合成のための自己組立ガウス平滑化
Authors: Chen Zhao, Xuan Wang, Tong Zhang, Saqib Javed, Mathieu Salzmann,
Abstract要約: 3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示したしかし、3DGSモデルはスパースポーズビューで訓練すると過度に適合する傾向にあり、その一般化能力は新規ビューに制限される。オーバーフィッティング問題を緩和するために,Self-Ensembling Gaussian Splatting (SE-GS) アプローチを提案する。提案手法は,NVSの品質向上に寄与し,既存の最先端手法よりも優れる。
参考スコア（独自算出の注目度）: 55.561961365113554
License:
Abstract: 3D Gaussian Splatting (3DGS) has demonstrated remarkable effectiveness for novel view synthesis (NVS). However, the 3DGS model tends to overfit when trained with sparse posed views, limiting its generalization ability to novel views. In this paper, we alleviate the overfitting problem, presenting a Self-Ensembling Gaussian Splatting (SE-GS) approach. Our method encompasses a $\mathbf{\Sigma}$-model and a $\mathbf{\Delta}$-model. The $\mathbf{\Sigma}$-model serves as an ensemble of 3DGS models that generates novel-view images during inference. We achieve the self-ensembling by introducing an uncertainty-aware perturbation strategy at the training state. We complement the $\mathbf{\Sigma}$-model with the $\mathbf{\Delta}$-model, which is dynamically perturbed based on the uncertainties of novel-view renderings across different training steps. The perturbation yields diverse temporal samples in the Gaussian parameter space without additional training costs. The geometry of the $\mathbf{\Sigma}$-model is regularized by penalizing discrepancies between the $\mathbf{\Sigma}$-model and these temporal samples. Therefore, our SE-GS conducts an effective and efficient regularization across a large number of 3DGS models, resulting in a robust ensemble, the $\mathbf{\Sigma}$-model. Our experimental results on the LLFF, Mip-NeRF360, DTU, and MVImgNet datasets show that our approach improves NVS quality with few-shot training views, outperforming existing state-of-the-art methods. The code is released at: https://sailor-z.github.io/projects/SEGS.html.
Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は新規なビュー合成(NVS)に顕著な効果を示した。しかし、3DGSモデルはスパースポーズビューで訓練すると過度に適合する傾向にあり、その一般化能力は新規ビューに制限される。本稿では, 自己組立型ガウススプラッティング(SE-GS)手法を提案することで, オーバーフィッティング問題を緩和する。我々の方法は$\mathbf{\Sigma}$-modelと$\mathbf{\Delta}$-modelを含む。 $\mathbf{\Sigma}$-modelは、推論中に新しいビュー画像を生成する3DGSモデルのアンサンブルとして機能する。我々は,トレーニング状態に不確実性を考慮した摂動戦略を導入することで,自己理解を実現する。我々は、$\mathbf{\Delta}$-modelと$\mathbf{\Delta}$-modelを補完する。摂動は、追加の訓練コストなしでガウスパラメータ空間の様々な時間サンプルを生成する。 $\mathbf{\Sigma}$-モデルの幾何学は、$\mathbf{\Sigma}$-モデルとこれらの時間サンプルの間の相違をペンナライズすることによって正規化される。したがって、SE-GSは、多数の3DGSモデルに対して効率的かつ効率的な正則化を行い、その結果、ロバストなアンサンブルである$\mathbf{\Sigma}$-modelとなる。 LLFF, Mip-NeRF360, DTU, MVImgNet データセットを用いた実験結果から,NVS の品質が向上することを示す。コードは https://sailor-z.github.io/projects/SEGS.html で公開されている。

関連論文リスト

Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
論文参考訳（メタデータ） (2025-02-10T19:49:54Z)
GaussianSpa: An "Optimizing-Sparsifying" Simplification Framework for Compact and High-Quality 3D Gaussian Splatting [12.342660713851227]
3D Gaussian Splatting (3DGS) は、ガウス関数の連続的な集合を利用して、新しいビュー合成の主流として登場した。 3DGSは、ガウシアンの多さを記憶するためのかなりのメモリ要件に悩まされており、その実用性を妨げている。コンパクトで高品質な3DGSのための最適化ベースの単純化フレームワークであるGaussianSpaを紹介する。
論文参考訳（メタデータ） (2024-11-09T00:38:06Z)
No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文参考訳（メタデータ） (2024-10-31T17:58:22Z)
Near-Optimal Streaming Heavy-Tailed Statistical Estimation with Clipped SGD [16.019880089338383]
Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsff
論文参考訳（メタデータ） (2024-10-26T10:14:17Z)
MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2024-09-22T05:07:20Z)
Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。正規化として有効ランクを導入し、ガウスの構造を制約する。
論文参考訳（メタデータ） (2024-06-17T15:51:59Z)
Dynamic angular synchronization under smoothness constraints [9.196539011582361]
統計モデルにより平均二乗誤差(MSE)の漸近的回復を保証する。 MSE が 0 に収束するのは、静的条件よりも穏やかな条件で$T$ が増加するためである。
論文参考訳（メタデータ） (2024-06-06T13:36:41Z)
HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
論文参考訳（メタデータ） (2024-03-21T16:28:58Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。