論文の概要: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds
- arxiv url: http://arxiv.org/abs/2403.20309v1
- Date: Fri, 29 Mar 2024 17:29:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-04-01 14:55:26.095569
- Title: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds
- Title（参考訳）: InstantSplat:40秒でスパースビューのないガウススプラッティング
- Authors: Zhiwen Fan, Wenyan Cong, Kairun Wen, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang,
- Abstract要約: 新しいビュー合成 (NVS) には、高密度視点からカメラ内在と外在を初期推定する必要がある。
本研究では,NVSにおける複雑だが未解決な問題に,制約のない設定で対処するために,ポイントベース表現の強みをエンド・ツー・エンドの高密度ステレオモデルと統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
- 参考スコア（独自算出の注目度）: 91.77050739918037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While novel view synthesis (NVS) has made substantial progress in 3D computer vision, it typically requires an initial estimation of camera intrinsics and extrinsics from dense viewpoints. This pre-processing is usually conducted via a Structure-from-Motion (SfM) pipeline, a procedure that can be slow and unreliable, particularly in sparse-view scenarios with insufficient matched features for accurate reconstruction. In this work, we integrate the strengths of point-based representations (e.g., 3D Gaussian Splatting, 3D-GS) with end-to-end dense stereo models (DUSt3R) to tackle the complex yet unresolved issues in NVS under unconstrained settings, which encompasses pose-free and sparse view challenges. Our framework, InstantSplat, unifies dense stereo priors with 3D-GS to build 3D Gaussians of large-scale scenes from sparseview & pose-free images in less than 1 minute. Specifically, InstantSplat comprises a Coarse Geometric Initialization (CGI) module that swiftly establishes a preliminary scene structure and camera parameters across all training views, utilizing globally-aligned 3D point maps derived from a pre-trained dense stereo pipeline. This is followed by the Fast 3D-Gaussian Optimization (F-3DGO) module, which jointly optimizes the 3D Gaussian attributes and the initialized poses with pose regularization. Experiments conducted on the large-scale outdoor Tanks & Temples datasets demonstrate that InstantSplat significantly improves SSIM (by 32%) while concurrently reducing Absolute Trajectory Error (ATE) by 80%. These establish InstantSplat as a viable solution for scenarios involving posefree and sparse-view conditions. Project page: instantsplat.github.io.
- Abstract（参考訳）: 新規ビュー合成(NVS)は3次元コンピュータビジョンにおいてかなりの進歩を遂げてきたが、通常、密集した視点からカメラの内在と外在を推定する必要がある。
この前処理は通常、遅くて信頼性の低いStructure-from-Motion (SfM)パイプラインを通して行われる。
本研究では,非制約条件下でのNVSの複雑かつ未解決問題に対処するために,ポイントベース表現(例えば,3Dガウス版,3D-GS)とエンドツーエンドの高密度ステレオモデル(DUSt3R)を統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
具体的には、InstantSplatは、事前訓練された高密度ステレオパイプラインから導出されたグローバルに整列した3Dポイントマップを利用して、すべてのトレーニングビューにわたる予備的なシーン構造とカメラパラメータを迅速に確立する粗い幾何学的初期化(CGI)モジュールを備える。
続くFast 3D-Gaussian Optimization (F-3DGO)モジュールは、3Dガウス属性と初期化ポーズを連立最適化し、ポーズ正則化を行う。
大規模な屋外タンク&テンプルスデータセットで行った実験では、InstantSplatはSSIMを大幅に改善し(32%)、絶対軌道誤差(ATE)を80%削減した。
これらは、ポーズフリーおよびスパースビュー条件を含むシナリオの実行可能なソリューションとしてInstantSplatを確立する。
プロジェクトページ: instantsplat.github.io
関連論文リスト
- A Constrained Optimization Approach for Gaussian Splatting from Coarsely-posed Images and Noisy Lidar Point Clouds [37.043012716944496]
カメラポーズ推定と3次元再構成を同時に行うための制約付き最適化手法を提案する。
実験により,提案手法は既存の(マルチモーダル)3DGSベースラインを著しく上回ることを示した。
論文 参考訳（メタデータ） (2025-04-12T08:34:43Z) - EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - EasySplat: View-Adaptive Learning makes 3D Gaussian Splatting Easy [34.27245715540978]
高品質な3DGSモデリングを実現するための新しいフレームワークEasySplatを提案する。
本稿では、ビュー類似性に基づく効率的なグループ化戦略を提案し、高品質な点雲を得るためにロバストな点マップを前もって利用する。
信頼性の高いシーン構造を得た後、近隣のガウス楕円体の平均形状に基づいてガウス原始体を適応的に分割する新しいデンシフィケーション手法を提案する。
論文 参考訳（メタデータ） (2025-01-02T01:56:58Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - LoGS: Visual Localization via Gaussian Splatting with Fewer Training Images [7.363332481155945]
本稿では,3D Splatting (GS) 技術をシーン表現として活用した視覚に基づくローカライゼーションパイプラインを提案する。
マッピングフェーズでは、まずStructure-from-motion(SfM)を適用し、続いてGSマップを生成する。
高精度なポーズは、地図上で解析的に達成される。
論文 参考訳（メタデータ） (2024-10-15T11:17:18Z) - MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。
既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。
本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
論文 参考訳（メタデータ） (2024-10-15T08:39:05Z) - GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
軽量なXFeat特徴抽出器から高密度かつ堅牢なキーポイント記述器を3DGSに統合する2段階の手順を提案する。
第2段階では、レンダリングベースの光度ワープ損失を最小限に抑え、初期ポーズ推定を洗練させる。
広く使われている屋内および屋外データセットのベンチマークは、最近のニューラルレンダリングベースのローカライゼーション手法よりも改善されていることを示している。
論文 参考訳（メタデータ） (2024-09-24T23:18:32Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。
Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。
4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-08-01T03:26:50Z) - MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。
MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2024-05-20T17:59:30Z) - MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。
大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-21T17:59:58Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。