論文の概要: SfM-Free 3D Gaussian Splatting via Hierarchical Training
- arxiv url: http://arxiv.org/abs/2412.01553v1
- Date: Mon, 02 Dec 2024 14:39:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:45:03.250823
- Title: SfM-Free 3D Gaussian Splatting via Hierarchical Training
- Title（参考訳）: 階層的トレーニングによるSfMフリー3次元ガウススプラッティング
- Authors: Bo Ji, Angela Yao,
- Abstract要約: 本研究では、ビデオ入力のための新しいSfM-Free 3DGS(SFGS)手法を提案し、既知のカメラポーズやSfM前処理の必要性を排除した。
提案手法では,複数の3次元ガウス表現を1つの統一3DGSモデルに訓練・統合する階層的学習戦略を導入する。
実験の結果,本手法は最先端のSfMフリー新規ビュー合成法を大きく上回っていることが明らかとなった。
- 参考スコア（独自算出の注目度）: 42.85362760049813
- License:
- Abstract: Standard 3D Gaussian Splatting (3DGS) relies on known or pre-computed camera poses and a sparse point cloud, obtained from structure-from-motion (SfM) preprocessing, to initialize and grow 3D Gaussians. We propose a novel SfM-Free 3DGS (SFGS) method for video input, eliminating the need for known camera poses and SfM preprocessing. Our approach introduces a hierarchical training strategy that trains and merges multiple 3D Gaussian representations -- each optimized for specific scene regions -- into a single, unified 3DGS model representing the entire scene. To compensate for large camera motions, we leverage video frame interpolation models. Additionally, we incorporate multi-source supervision to reduce overfitting and enhance representation. Experimental results reveal that our approach significantly surpasses state-of-the-art SfM-free novel view synthesis methods. On the Tanks and Temples dataset, we improve PSNR by an average of 2.25dB, with a maximum gain of 3.72dB in the best scene. On the CO3D-V2 dataset, we achieve an average PSNR boost of 1.74dB, with a top gain of 3.90dB. The code is available at https://github.com/jibo27/3DGS_Hierarchical_Training.
- Abstract（参考訳）: 標準的な3Dガウススプレイティング(3DGS)は3Dガウスを初期化・成長させるために、既知のまたは事前計算されたカメラのポーズと、SfM(Structure-from-motion)プリプロセッシングから得られるスパースポイントクラウドに依存している。
本研究では、ビデオ入力のための新しいSfM-Free 3DGS(SFGS)手法を提案し、既知のカメラポーズやSfM前処理の必要性を排除した。
このアプローチでは、複数の3Dガウス表現(それぞれ特定のシーンに最適化された)をトレーニングし、統合した1つの3DGSモデルにマージする階層的なトレーニング戦略を導入しています。
大規模なカメラの動きを補うために,ビデオフレーム補間モデルを利用する。
さらに、オーバーフィッティングを減らし、表現力を高めるために、マルチソース・インスペクションを組み込んだ。
実験の結果,本手法は最先端のSfMフリー新規ビュー合成法を大きく上回っていることが明らかとなった。
タンクとテンプルのデータセットでは、PSNRを平均2.25dB改善し、最高の場面では最大3.72dB向上する。
CO3D-V2データセットでは、平均PSNRは1.74dB、最高は3.90dBとなる。
コードはhttps://github.com/jibo27/3DGS_Hierarchical_Trainingで公開されている。
関連論文リスト
- ZeroGS: Training 3D Gaussian Splatting from Unposed Images [62.34149221132978]
我々はZeroGSを提案し、3DGSを何百もの未提示画像から訓練する。
本手法は,事前学習した基礎モデルをニューラルネットワークのシーン表現として活用する。
提案手法は,最先端のポーズレスNeRF/3DGS法よりも高精度なカメラポーズを復元する。
論文 参考訳（メタデータ） (2024-11-24T11:20:48Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - COLMAP-Free 3D Gaussian Splatting [88.420322646756]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。
入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。
提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-12-12T18:39:52Z) - Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文 参考訳（メタデータ） (2023-12-06T11:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。