論文の概要: StreamGS: Online Generalizable Gaussian Splatting Reconstruction for Unposed Image Streams
- arxiv url: http://arxiv.org/abs/2503.06235v1
- Date: Sat, 08 Mar 2025 14:35:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:49:12.519098
- Title: StreamGS: Online Generalizable Gaussian Splatting Reconstruction for Unposed Image Streams
- Title（参考訳）: StreamGS: 画像ストリームのオンライン一般化可能なガウス的スプレイティング再構築
- Authors: Yang LI, Jinglu Wang, Lei Chu, Xiao Li, Shiu-hong Kao, Ying-Cong Chen, Yan Lu,
- Abstract要約: 本稿では,非ポーズ画像ストリームのための3DGS再構成手法であるStreamGSを提案する。
StreamGSは、画像ストリームを3Dガウスストリームに変換する。
多様なデータセットの実験では、StreamGSは最適化ベースのアプローチと同等の品質を実現しているが、150倍高速であることが示された。
- 参考スコア（独自算出の注目度）: 32.91936079359693
- License:
- Abstract: The advent of 3D Gaussian Splatting (3DGS) has advanced 3D scene reconstruction and novel view synthesis. With the growing interest of interactive applications that need immediate feedback, online 3DGS reconstruction in real-time is in high demand. However, none of existing methods yet meet the demand due to three main challenges: the absence of predetermined camera parameters, the need for generalizable 3DGS optimization, and the necessity of reducing redundancy. We propose StreamGS, an online generalizable 3DGS reconstruction method for unposed image streams, which progressively transform image streams to 3D Gaussian streams by predicting and aggregating per-frame Gaussians. Our method overcomes the limitation of the initial point reconstruction \cite{dust3r} in tackling out-of-domain (OOD) issues by introducing a content adaptive refinement. The refinement enhances cross-frame consistency by establishing reliable pixel correspondences between adjacent frames. Such correspondences further aid in merging redundant Gaussians through cross-frame feature aggregation. The density of Gaussians is thereby reduced, empowering online reconstruction by significantly lowering computational and memory costs. Extensive experiments on diverse datasets have demonstrated that StreamGS achieves quality on par with optimization-based approaches but does so 150 times faster, and exhibits superior generalizability in handling OOD scenes.
- Abstract（参考訳）: 3Dガウススプラッティング(3DGS)の出現により、3Dシーンの再構築と新しいビュー合成が進んだ。
即時フィードバックを必要とするインタラクティブなアプリケーションへの関心が高まっているため、リアルタイムのオンライン3DGS再構築が要求されている。
しかし, カメラパラメータの欠如, 一般化可能な3DGS最適化の必要性, 冗長性低減の必要性, という3つの大きな課題により, 既存の手法がまだ需要を満たしていない。
画像ストリームを3次元ガウスストリームに段階的に変換し,フレームごとのガウスストリームの予測と集約を行う。
本手法は,コンテンツ適応リファインメントを導入することで,ドメイン外問題(OOD)に対処する際の初期点再構成の限界を克服する。
この改良により、隣接するフレーム間の信頼性の高い画素対応を確立することにより、フレーム間の一貫性が向上する。
このような対応は、クロスフレームな特徴集約を通じて冗長なガウスの融合をさらに助ける。
これにより、ガウス密度が減少し、計算コストとメモリコストを大幅に削減することで、オンラインの再構築が強化される。
多様なデータセットに関する大規模な実験では、StreamGSは最適化ベースのアプローチと同等の品質を達成しているが、150倍高速であり、OODシーンの処理において優れた一般化性を示している。
関連論文リスト
- ResGS: Residual Densification of 3D Gaussian for Efficient Detail Recovery [11.706262924395768]
3D-GSは、しばしば豊富な詳細と完全な幾何学を捉えるのに苦労する。
本稿では, 残留分断法を新たに導入し, 残留分断法としてガウシアンを付加した。
提案手法は, 詳細を適応的に検索し, 欠落した幾何を補うとともに, 進歩的な洗練を可能にする。
論文 参考訳（メタデータ） (2024-12-10T13:19:27Z) - PreF3R: Pose-Free Feed-Forward 3D Gaussian Splatting from Variable-length Image Sequence [3.61512056914095]
可変長の画像列から,PreF3R, Pose-Free Feed-forward 3D再構成を提案する。
PreF3Rは、カメラキャリブレーションの必要性を排除し、正準座標フレーム内の3次元ガウス場を、未提示画像のシーケンスから直接再構成する。
論文 参考訳（メタデータ） (2024-11-25T19:16:29Z) - USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting [45.246178004823534]
スパイクカメラは、0-1ビットストリームを40kHzで撮影する革新的なニューロモルフィックカメラとして、ますます3D再構成タスクに採用されている。
以前のスパイクベースの3D再構成アプローチでは、ケースケースのパイプラインを使うことが多い。
本稿では,スパイクに基づく画像再構成,ポーズ補正,ガウス的スプラッティングをエンドツーエンドのフレームワークに統一する,相乗的最適化フレームワーク textbfUSP-Gaussian を提案する。
論文 参考訳（メタデータ） (2024-11-15T14:15:16Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
スパースビューの再構築は本質的に不適切であり、制約を受けていない。
本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。
提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
論文 参考訳（メタデータ） (2024-09-05T12:09:02Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは、2〜3枚の画像から正確な3D表現を構築する、新規で高速なニューラルリコンストラクションシステムである。
InstantSplatは、フレーム間の密集したステレオ先行とコビジュアライザの関係を統合して、シーンを徐々に拡張することでピクセルアライメントを初期化する。
SSIMは3D-GSでCOLMAPよりも0.3755から0.7624に向上し、複数の3D表現と互換性がある。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。
ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。
LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
論文 参考訳（メタデータ） (2023-11-28T21:39:20Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。