論文の概要: Gaussian On-the-Fly Splatting: A Progressive Framework for Robust Near Real-Time 3DGS Optimization

• arxiv url: http://arxiv.org/abs/2503.13086v1
• Date: Mon, 17 Mar 2025 11:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:18.040152
• Title: Gaussian On-the-Fly Splatting: A Progressive Framework for Robust Near Real-Time 3DGS Optimization
• Title（参考訳）: Gaussian On-the-Fly Splatting: リアルタイムに近い3DGS最適化のためのプログレッシブフレームワーク
• Authors: Yiwei Xu, Yifei Yu, Wentian Gan, Tengfei Wang, Zongqian Zhan, Hao Cheng, Xin Wang,
• Abstract要約: 画像キャプチャ中にほぼリアルタイムで3DGSの最適化を可能にするフレームワークであるOn-the-Fly GSを導入する。 各画像が到着すると、そのポーズとスパースポイントはオンザフライのSfMを介して更新され、新しく最適化されたガウスは直ちに3DGSフィールドに統合される。 複数のベンチマークデータセットの実験では、On-the-Fly GSはトレーニング時間を大幅に短縮し、レンダリングロスを最小限に抑えて、新しいイメージを数秒で最適化している。
• 参考スコア（独自算出の注目度）: 8.422116335889163
• License:
• Abstract: 3D Gaussian Splatting (3DGS) achieves high-fidelity rendering with fast real-time performance, but existing methods rely on offline training after full Structure-from-Motion (SfM) processing. In contrast, this work introduces On-the-Fly GS, a progressive framework enabling near real-time 3DGS optimization during image capture. As each image arrives, its pose and sparse points are updated via on-the-fly SfM, and newly optimized Gaussians are immediately integrated into the 3DGS field. We propose a progressive local optimization strategy to prioritize new images and their neighbors by their corresponding overlapping relationship, allowing the new image and its overlapping images to get more training. To further stabilize training across old and new images, an adaptive learning rate schedule balances the iterations and the learning rate. Moreover, to maintain overall quality of the 3DGS field, an efficient global optimization scheme prevents overfitting to the newly added images. Experiments on multiple benchmark datasets show that our On-the-Fly GS reduces training time significantly, optimizing each new image in seconds with minimal rendering loss, offering the first practical step toward rapid, progressive 3DGS reconstruction.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は高速なリアルタイム性能で高忠実なレンダリングを実現するが、既存の手法は完全なStructure-from-Motion (SfM) 処理後のオフライントレーニングに依存している。 対照的に、この研究は、画像キャプチャ中にほぼリアルタイムで3DGS最適化を可能にするプログレッシブフレームワークであるOn-the-Fly GSを導入している。 各画像が到着すると、そのポーズとスパースポイントはオンザフライのSfMを介して更新され、新しく最適化されたガウスは直ちに3DGSフィールドに統合される。 そこで本稿では,新たな画像と近隣画像の重なり関係を優先し,新たな画像と重なり関係の重なり関係を優先するプログレッシブな局所最適化手法を提案する。 古画像と新画像間のトレーニングをさらに安定させるため、適応的な学習率スケジュールは反復と学習率のバランスをとる。 さらに、3DGSフィールドの全体的な品質を維持するため、効率的なグローバル最適化方式により、新たに追加された画像への過度な適合が防止される。 複数のベンチマークデータセットの実験によると、On-the-Fly GSはトレーニング時間を大幅に短縮し、レンダリングロスを最小限にして、新しいイメージを数秒で最適化し、高速でプログレッシブな3DGS再構築に向けた最初の実践的なステップを提供する。

関連論文リスト

• Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
  本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。 Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。 この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
  論文  参考訳（メタデータ） (2024-06-14T19:06:07Z)
• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。