論文の概要: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds

• arxiv url: http://arxiv.org/abs/2403.20309v1
• Date: Fri, 29 Mar 2024 17:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 14:55:26.095569
• Title: InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds
• Title（参考訳）: InstantSplat:40秒でスパースビューのないガウススプラッティング
• Authors: Zhiwen Fan, Wenyan Cong, Kairun Wen, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang,
• Abstract要約: 新しいビュー合成 (NVS) には、高密度視点からカメラ内在と外在を初期推定する必要がある。 本研究では,NVSにおける複雑だが未解決な問題に,制約のない設定で対処するために,ポイントベース表現の強みをエンド・ツー・エンドの高密度ステレオモデルと統合する。 我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
• 参考スコア（独自算出の注目度）: 91.77050739918037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While novel view synthesis (NVS) has made substantial progress in 3D computer vision, it typically requires an initial estimation of camera intrinsics and extrinsics from dense viewpoints. This pre-processing is usually conducted via a Structure-from-Motion (SfM) pipeline, a procedure that can be slow and unreliable, particularly in sparse-view scenarios with insufficient matched features for accurate reconstruction. In this work, we integrate the strengths of point-based representations (e.g., 3D Gaussian Splatting, 3D-GS) with end-to-end dense stereo models (DUSt3R) to tackle the complex yet unresolved issues in NVS under unconstrained settings, which encompasses pose-free and sparse view challenges. Our framework, InstantSplat, unifies dense stereo priors with 3D-GS to build 3D Gaussians of large-scale scenes from sparseview & pose-free images in less than 1 minute. Specifically, InstantSplat comprises a Coarse Geometric Initialization (CGI) module that swiftly establishes a preliminary scene structure and camera parameters across all training views, utilizing globally-aligned 3D point maps derived from a pre-trained dense stereo pipeline. This is followed by the Fast 3D-Gaussian Optimization (F-3DGO) module, which jointly optimizes the 3D Gaussian attributes and the initialized poses with pose regularization. Experiments conducted on the large-scale outdoor Tanks & Temples datasets demonstrate that InstantSplat significantly improves SSIM (by 32%) while concurrently reducing Absolute Trajectory Error (ATE) by 80%. These establish InstantSplat as a viable solution for scenarios involving posefree and sparse-view conditions. Project page: instantsplat.github.io.
• Abstract（参考訳）: 新規ビュー合成(NVS)は3次元コンピュータビジョンにおいてかなりの進歩を遂げてきたが、通常、密集した視点からカメラの内在と外在を推定する必要がある。 この前処理は通常、遅くて信頼性の低いStructure-from-Motion (SfM)パイプラインを通して行われる。 本研究では,非制約条件下でのNVSの複雑かつ未解決問題に対処するために,ポイントベース表現(例えば,3Dガウス版,3D-GS)とエンドツーエンドの高密度ステレオモデル(DUSt3R)を統合する。 我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。 具体的には、InstantSplatは、事前訓練された高密度ステレオパイプラインから導出されたグローバルに整列した3Dポイントマップを利用して、すべてのトレーニングビューにわたる予備的なシーン構造とカメラパラメータを迅速に確立する粗い幾何学的初期化(CGI)モジュールを備える。 続くFast 3D-Gaussian Optimization (F-3DGO)モジュールは、3Dガウス属性と初期化ポーズを連立最適化し、ポーズ正則化を行う。 大規模な屋外タンク&テンプルスデータセットで行った実験では、InstantSplatはSSIMを大幅に改善し(32%)、絶対軌道誤差(ATE)を80%削減した。 これらは、ポーズフリーおよびスパースビュー条件を含むシナリオの実行可能なソリューションとしてInstantSplatを確立する。 プロジェクトページ: instantsplat.github.io

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• LoGS: Visual Localization via Gaussian Splatting with Fewer Training Images [7.363332481155945]
  本稿では,3D Splatting (GS) 技術をシーン表現として活用した視覚に基づくローカライゼーションパイプラインを提案する。 マッピングフェーズでは、まずStructure-from-motion(SfM)を適用し、続いてGSマップを生成する。 高精度なポーズは、地図上で解析的に達成される。
  論文  参考訳（メタデータ） (2024-10-15T11:17:18Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
  LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。 Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。 4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-01T03:26:50Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
  入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-21T17:59:58Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。