論文の概要: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds
- arxiv url: http://arxiv.org/abs/2403.20309v1
- Date: Fri, 29 Mar 2024 17:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 14:55:26.095569
- Title: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds
- Title(参考訳): InstantSplat:40秒でスパースビューのないガウススプラッティング
- Authors: Zhiwen Fan, Wenyan Cong, Kairun Wen, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang,
- Abstract要約: 新しいビュー合成 (NVS) には、高密度視点からカメラ内在と外在を初期推定する必要がある。
本研究では,NVSにおける複雑だが未解決な問題に,制約のない設定で対処するために,ポイントベース表現の強みをエンド・ツー・エンドの高密度ステレオモデルと統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
- 参考スコア(独自算出の注目度): 91.77050739918037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While novel view synthesis (NVS) has made substantial progress in 3D computer vision, it typically requires an initial estimation of camera intrinsics and extrinsics from dense viewpoints. This pre-processing is usually conducted via a Structure-from-Motion (SfM) pipeline, a procedure that can be slow and unreliable, particularly in sparse-view scenarios with insufficient matched features for accurate reconstruction. In this work, we integrate the strengths of point-based representations (e.g., 3D Gaussian Splatting, 3D-GS) with end-to-end dense stereo models (DUSt3R) to tackle the complex yet unresolved issues in NVS under unconstrained settings, which encompasses pose-free and sparse view challenges. Our framework, InstantSplat, unifies dense stereo priors with 3D-GS to build 3D Gaussians of large-scale scenes from sparseview & pose-free images in less than 1 minute. Specifically, InstantSplat comprises a Coarse Geometric Initialization (CGI) module that swiftly establishes a preliminary scene structure and camera parameters across all training views, utilizing globally-aligned 3D point maps derived from a pre-trained dense stereo pipeline. This is followed by the Fast 3D-Gaussian Optimization (F-3DGO) module, which jointly optimizes the 3D Gaussian attributes and the initialized poses with pose regularization. Experiments conducted on the large-scale outdoor Tanks & Temples datasets demonstrate that InstantSplat significantly improves SSIM (by 32%) while concurrently reducing Absolute Trajectory Error (ATE) by 80%. These establish InstantSplat as a viable solution for scenarios involving posefree and sparse-view conditions. Project page: instantsplat.github.io.
- Abstract(参考訳): 新規ビュー合成(NVS)は3次元コンピュータビジョンにおいてかなりの進歩を遂げてきたが、通常、密集した視点からカメラの内在と外在を推定する必要がある。
この前処理は通常、遅くて信頼性の低いStructure-from-Motion (SfM)パイプラインを通して行われる。
本研究では,非制約条件下でのNVSの複雑かつ未解決問題に対処するために,ポイントベース表現(例えば,3Dガウス版,3D-GS)とエンドツーエンドの高密度ステレオモデル(DUSt3R)を統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
具体的には、InstantSplatは、事前訓練された高密度ステレオパイプラインから導出されたグローバルに整列した3Dポイントマップを利用して、すべてのトレーニングビューにわたる予備的なシーン構造とカメラパラメータを迅速に確立する粗い幾何学的初期化(CGI)モジュールを備える。
続くFast 3D-Gaussian Optimization (F-3DGO)モジュールは、3Dガウス属性と初期化ポーズを連立最適化し、ポーズ正則化を行う。
大規模な屋外タンク&テンプルスデータセットで行った実験では、InstantSplatはSSIMを大幅に改善し(32%)、絶対軌道誤差(ATE)を80%削減した。
これらは、ポーズフリーおよびスパースビュー条件を含むシナリオの実行可能なソリューションとしてInstantSplatを確立する。
プロジェクトページ: instantsplat.github.io
関連論文リスト
- SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳(メタデータ) (2024-03-28T15:27:13Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-24T20:48:36Z) - Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting [29.58220473268378]
3次元ガウス切削における正確な初期化制約の緩和)と呼ばれる新しい最適化手法を提案する。
複数のデータセットに対する定量的および定性的な比較による戦略の有効性を示し、全ての設定における性能を大幅に改善した。
論文 参考訳(メタデータ) (2024-03-14T14:04:21Z) - COLMAP-Free 3D Gaussian Splatting [93.69157280273856]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。
入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。
提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-12-12T18:39:52Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [63.8093511389908]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T09:30:02Z) - MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly
Deformable Scenes [37.21392210514045]
MD-Splatting(MD-Splatting)は3次元トラッキングと新しいビュー合成を同時に行う手法である。
MD-スプレイティング(MD-Splatting)は、非計量的、従って正準的な性質を持つガウスの集合を計量空間に射影する変形関数を学習する。
最先端技術と比較して平均23.9%の3Dトラッキングを向上し,同時に高品質なノベルビュー合成を実現した。
論文 参考訳(メタデータ) (2023-11-30T18:53:03Z) - Cuboids Revisited: Learning Robust 3D Shape Fitting to Single RGB Images [44.223070672713455]
特に、人為的な環境は、一般的にキュービドやシリンダーのようなボリュームプリミティブから成り立っている。
従来のアプローチでは、2Dまたは3D入力から直接形状パラメータを推定し、単純なオブジェクトのみを再現できる。
立方体を用いた実世界の環境を有意義に抽象化するプリミティブフィッティングのための堅牢な推定器を提案する。
論文 参考訳(メタデータ) (2021-05-05T13:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。