論文の概要: Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2411.00144v1
• Date: Thu, 31 Oct 2024 18:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:46:28.890885
• Title: Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis
• Title（参考訳）: 新規視点合成のための自己組立ガウス平滑化
• Authors: Chen Zhao, Xuan Wang, Tong Zhang, Saqib Javed, Mathieu Salzmann,
• Abstract要約: 3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示した しかし、3DGSモデルはスパースポーズのビューで訓練すると過度に適合する傾向にあり、より広いポーズのバリエーションに対して一般化能力を制限する。 オーバーフィッティング問題を緩和するために, 自己理解型ガウススプラッティング (SE-GS) アプローチを導入する。
• 参考スコア（独自算出の注目度）: 55.561961365113554
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has demonstrated remarkable effectiveness for novel view synthesis (NVS). However, the 3DGS model tends to overfit when trained with sparse posed views, limiting its generalization capacity for broader pose variations. In this paper, we alleviate the overfitting problem by introducing a self-ensembling Gaussian Splatting (SE-GS) approach. We present two Gaussian Splatting models named the $\mathbf{\Sigma}$-model and the $\mathbf{\Delta}$-model. The $\mathbf{\Sigma}$-model serves as the primary model that generates novel-view images during inference. At the training stage, the $\mathbf{\Sigma}$-model is guided away from specific local optima by an uncertainty-aware perturbing strategy. We dynamically perturb the $\mathbf{\Delta}$-model based on the uncertainties of novel-view renderings across different training steps, resulting in diverse temporal models sampled from the Gaussian parameter space without additional training costs. The geometry of the $\mathbf{\Sigma}$-model is regularized by penalizing discrepancies between the $\mathbf{\Sigma}$-model and the temporal samples. Therefore, our SE-GS conducts an effective and efficient regularization across a large number of Gaussian Splatting models, resulting in a robust ensemble, the $\mathbf{\Sigma}$-model. Experimental results on the LLFF, Mip-NeRF360, DTU, and MVImgNet datasets show that our approach improves NVS quality with few-shot training views, outperforming existing state-of-the-art methods. The code is released at https://github.com/sailor-z/SE-GS.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は新規なビュー合成(NVS)に顕著な効果を示した。 しかし、3DGSモデルはスパースポーズのビューで訓練すると過度に適合する傾向にあり、より広いポーズのバリエーションに対して一般化能力を制限する。 本稿では,自己認識型ガウス・スプレイティング (SE-GS) アプローチを導入することで,過度に適合する問題を緩和する。 我々は、$\mathbf{\Sigma}$-model と $\mathbf{\Delta}$-model という2つのガウススプラッティングモデルを示す。 $\mathbf{\Sigma}$-modelは推論中に新しいビュー画像を生成する主要なモデルとして機能する。 トレーニング段階では、$\mathbf{\Sigma}$-modelは、不確実性を認識した摂動戦略によって特定の局所最適化から導かれる。 我々は、異なるトレーニングステップにわたる新しいビューレンダリングの不確実性に基づいて、$\mathbf{\Delta}$-modelを動的に摂動する。 $\mathbf{\Sigma}$-モデルの幾何学は、$\mathbf{\Sigma}$-モデルと時間サンプルの間の相違をペンナライズすることによって正規化される。 したがって、SE-GSは多数のガウススプラッティングモデルに対して効率的かつ効率的な正則化を行い、その結果、ロバストなアンサンブルである$\mathbf{\Sigma}$-モデルとなる。 LLFF, Mip-NeRF360, DTU, MVImgNet のデータセットによる実験結果から,NVS の品質が向上することを示す。 コードはhttps://github.com/sailor-z/SE-GSで公開されている。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• Near-Optimal Streaming Heavy-Tailed Statistical Estimation with Clipped SGD [16.019880089338383]
  Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsff
  論文  参考訳（メタデータ） (2024-10-26T10:14:17Z)
• GaussianForest: Hierarchical-Hybrid 3D Gaussian Splatting for Compressed Scene Modeling [40.743135560583816]
  本稿では,ハイブリッド3Dガウスの森として景観を階層的に表現するガウス・フォレスト・モデリング・フレームワークを紹介する。 実験により、ガウス・フォレストは同等の速度と品質を維持するだけでなく、圧縮速度が10倍を超えることが示されている。
  論文  参考訳（メタデータ） (2024-06-13T02:41:11Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• 3D Gaussian Splatting as Markov Chain Monte Carlo [30.04096439325343]
  3D Gaussian Splattingは最近、ニューラルレンダリングで人気になっている。 我々は3次元ガウスの集合を、基礎となる確率分布から引き出されたランダムなサンプルとして再考する。 未使用ガウスの除去を促進する正則化器を導入する。
  論文  参考訳（メタデータ） (2024-04-15T09:01:47Z)
• MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
  入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-21T17:59:58Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Towards improving discriminative reconstruction via simultaneous dense and sparse coding [9.87575928269854]
  スパース符号化モデルから抽出した識別的特徴は、分類と再構成において良好に機能することが示されている。 本稿では,表現能力と識別機能の両方を統合した,疎密かつ疎結合な符号化モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-16T21:53:20Z)
• Using Deep Learning to Improve Ensemble Smoother: Applications to Subsurface Characterization [2.4373900721120285]
  エンサンブルスムース(ES)は様々な研究分野で広く使われている。 ES$_text(DL)$は、複雑なデータ同化アプリケーションにおけるESの更新スキームである。 DLに基づくES法,すなわちES$_text(DL)$はより汎用的で柔軟であることを示す。
  論文  参考訳（メタデータ） (2020-02-21T02:46:53Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。