論文の概要: Variational Bayes Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2410.03592v1
- Date: Fri, 4 Oct 2024 16:52:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:08:10.562877
- Title: Variational Bayes Gaussian Splatting
- Title（参考訳）: 変分ベイズガウススプレイティング
- Authors: Toon Van de Maele, Ozan Catal, Alexander Tschantz, Christopher L. Buckley, Tim Verbelen,
- Abstract要約: 3Dガウシアン・スプラッティングはガウシアンの混合物を用いて3Dシーンをモデル化するための有望なアプローチとして登場した。
本稿では,モデルパラメータに対する変分推論としてガウススプレートをトレーニングするための新しい手法である変分ベイズ・ガウス・スプラッティングを提案する。
実験の結果,VBGSは静的データセット上での最先端性能だけでなく,逐次ストリームされた2Dおよび3Dデータからの連続的な学習も可能であった。
- 参考スコア（独自算出の注目度）: 44.43761190929142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, 3D Gaussian Splatting has emerged as a promising approach for modeling 3D scenes using mixtures of Gaussians. The predominant optimization method for these models relies on backpropagating gradients through a differentiable rendering pipeline, which struggles with catastrophic forgetting when dealing with continuous streams of data. To address this limitation, we propose Variational Bayes Gaussian Splatting (VBGS), a novel approach that frames training a Gaussian splat as variational inference over model parameters. By leveraging the conjugacy properties of multivariate Gaussians, we derive a closed-form variational update rule, allowing efficient updates from partial, sequential observations without the need for replay buffers. Our experiments show that VBGS not only matches state-of-the-art performance on static datasets, but also enables continual learning from sequentially streamed 2D and 3D data, drastically improving performance in this setting.
- Abstract（参考訳）: 近年,3Dガウシアン・スプラッティングはガウシアンの混合物を用いた3Dシーンのモデリングに有望なアプローチとして出現している。
これらのモデルの主な最適化方法は、連続的なデータストリームを扱う際の破滅的な忘れ込みに苦労する、微分可能なレンダリングパイプラインによる勾配のバックプロパゲートに依存している。
この制限に対処するために,モデルパラメータに対する変分推論としてガウススプレートをトレーニングするための新しいアプローチである変分ベイズ・ガウススプラッティング(VBGS)を提案する。
多変量ガウスの共役特性を利用することで、バッファを再生することなく部分的な逐次観測から効率的な更新を可能にする閉形式変分更新規則を導出する。
実験の結果,VBGSは静的データセット上での最先端性能と一致しただけでなく,逐次ストリーミングされた2Dデータや3Dデータからの連続学習も可能であり,この設定における性能を大幅に向上させることができた。
関連論文リスト
- GP-GS: Gaussian Processes for Enhanced Gaussian Splatting [10.45038376276218]
本稿では,スパースSfM点雲の適応的および不確実性誘導密度化を実現する新しい3次元再構成フレームワークを提案する。
このパイプラインは不確実性推定を利用して、高分散予測のプルーニングを導く。
合成および実世界のデータセットで行った実験は、提案フレームワークの有効性と実用性を検証する。
論文 参考訳（メタデータ） (2025-02-04T12:50:16Z) - Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction [6.273357335397336]
本稿では,フィードフォワードモデルにより生成されたガウスを高効率で一般化可能な手法であるジェネレーティブ・デンシフィケーションを提案する。
提案手法は, モデルサイズが同等あるいは小さく, 最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-09T06:20:51Z) - DiffGS: Functional Gaussian Splatting Diffusion [33.07847512591061]
3D Gaussian Splatting (3DGS) はレンダリング速度と忠実度において説得力のある性能を示した。
しかし、ガウススプラッティングの生成は、その離散性と非構造的な性質のため、依然として課題である。
本稿では,潜在拡散モデルに基づく一般ガウス生成器DiffGSを提案する。
論文 参考訳（メタデータ） (2024-10-25T16:08:08Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文 参考訳（メタデータ） (2023-12-06T11:25:52Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳（メタデータ） (2022-02-25T21:21:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。