論文の概要: InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds

• arxiv url: http://arxiv.org/abs/2403.20309v4
• Date: Tue, 17 Dec 2024 18:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:12.499170
• Title: InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds
• Title（参考訳）: InstantSplat:sparse-view SfM-free Gaussian Splatting in Seconds
• Authors: Zhiwen Fan, Kairun Wen, Wenyan Cong, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang,
• Abstract要約: InstantSplatは、2〜3枚の画像から正確な3D表現を構築する、新規で高速なニューラルリコンストラクションシステムである。 InstantSplatは、フレーム間の密集したステレオ先行とコビジュアライザの関係を統合して、シーンを徐々に拡張することでピクセルアライメントを初期化する。 SSIMは3D-GSでCOLMAPよりも0.3755から0.7624に向上し、複数の3D表現と互換性がある。
• 参考スコア（独自算出の注目度）: 91.77050739918037
• License:
• Abstract: While neural 3D reconstruction has advanced substantially, it typically requires densely captured multi-view data with carefully initialized poses (e.g., using COLMAP). However, this requirement limits its broader applicability, as Structure-from-Motion (SfM) is often unreliable in sparse-view scenarios where feature matches are limited, resulting in cumulative errors. In this paper, we introduce InstantSplat, a novel and lightning-fast neural reconstruction system that builds accurate 3D representations from as few as 2-3 images. InstantSplat adopts a self-supervised framework that bridges the gap between 2D images and 3D representations using Gaussian Bundle Adjustment (GauBA) and can be optimized in an end-to-end manner. InstantSplat integrates dense stereo priors and co-visibility relationships between frames to initialize pixel-aligned geometry by progressively expanding the scene avoiding redundancy. Gaussian Bundle Adjustment is used to adapt both the scene representation and camera parameters quickly by minimizing gradient-based photometric error. Overall, InstantSplat achieves large-scale 3D reconstruction in mere seconds by reducing the required number of input views. It achieves an acceleration of over 20 times in reconstruction, improves visual quality (SSIM) from 0.3755 to 0.7624 than COLMAP with 3D-GS, and is compatible with multiple 3D representations (3D-GS, 2D-GS, and Mip-Splatting).
• Abstract（参考訳）: 神経3D再構成は大幅に進歩しているが、通常、丁寧に初期化されたポーズ(例えば、COLMAP)で密にキャプチャされたマルチビューデータを必要とする。 しかし、SfM(Structure-from-Motion)は、機能マッチングが制限されたスパースビューシナリオでは信頼性が低いため、累積エラーが発生するため、この要件は適用範囲を限定する。 本稿では,2〜3枚の画像から正確な3次元表現を構築する新しい高速なニューラルネットワークであるInstantSplatを紹介する。 InstantSplatは、GauBA(Gaussian Bundle Adjustment)を使用して、2Dイメージと3D表現のギャップを橋渡しし、エンドツーエンドで最適化できるセルフ教師付きフレームワークを採用している。 InstantSplatは、フレーム間の密集したステレオ先行とコビジュアビリティの関係を統合して、ピクセル整列幾何を初期化する。 ガウスバンドル調整は、勾配に基づく測光誤差を最小化することにより、シーン表現とカメラパラメータの両方を迅速に適応するために用いられる。 全体として、InstantSplatは必要な入力ビュー数を減らし、わずか数秒で大規模な3D再構成を実現する。 SSIMは3D-GSでCOLMAPよりも0.3755から0.7624に向上し、複数の3D表現 (3D-GS, 2D-GS, Mip-Splatting) に対応している。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• LoGS: Visual Localization via Gaussian Splatting with Fewer Training Images [7.363332481155945]
  本稿では,3D Splatting (GS) 技術をシーン表現として活用した視覚に基づくローカライゼーションパイプラインを提案する。 マッピングフェーズでは、まずStructure-from-motion(SfM)を適用し、続いてGSマップを生成する。 高精度なポーズは、地図上で解析的に達成される。
  論文  参考訳（メタデータ） (2024-10-15T11:17:18Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
  LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。 Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。 4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-01T03:26:50Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
  入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-21T17:59:58Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。