論文の概要: SparSplat: Fast Multi-View Reconstruction with Generalizable 2D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2505.02175v1
• Date: Sun, 04 May 2025 16:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.467621
• Title: SparSplat: Fast Multi-View Reconstruction with Generalizable 2D Gaussian Splatting
• Title（参考訳）: SparSplat: 一般化可能な2次元ガウススプラッティングによる高速多視点再構成
• Authors: Shubhendu Jena, Shishir Reddy Vutukur, Adnane Boukhayma,
• Abstract要約: スパースビュー画像から3次元形状再構成とNVSを行うために、フィードフォワード方式で2DGS表面パラメータを回帰するMVSベースの学習を提案する。 結果として得られるパイプラインは、DTU 3D再構築ベンチマークにおける最先端の成果を、最先端のNVSと同様に、チャンファーから地底までの距離で達成する。
• 参考スコア（独自算出の注目度）: 7.9061560322289335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering 3D information from scenes via multi-view stereo reconstruction (MVS) and novel view synthesis (NVS) is inherently challenging, particularly in scenarios involving sparse-view setups. The advent of 3D Gaussian Splatting (3DGS) enabled real-time, photorealistic NVS. Following this, 2D Gaussian Splatting (2DGS) leveraged perspective accurate 2D Gaussian primitive rasterization to achieve accurate geometry representation during rendering, improving 3D scene reconstruction while maintaining real-time performance. Recent approaches have tackled the problem of sparse real-time NVS using 3DGS within a generalizable, MVS-based learning framework to regress 3D Gaussian parameters. Our work extends this line of research by addressing the challenge of generalizable sparse 3D reconstruction and NVS jointly, and manages to perform successfully at both tasks. We propose an MVS-based learning pipeline that regresses 2DGS surface element parameters in a feed-forward fashion to perform 3D shape reconstruction and NVS from sparse-view images. We further show that our generalizable pipeline can benefit from preexisting foundational multi-view deep visual features. The resulting model attains the state-of-the-art results on the DTU sparse 3D reconstruction benchmark in terms of Chamfer distance to ground-truth, as-well as state-of-the-art NVS. It also demonstrates strong generalization on the BlendedMVS and Tanks and Temples datasets. We note that our model outperforms the prior state-of-the-art in feed-forward sparse view reconstruction based on volume rendering of implicit representations, while offering an almost 2 orders of magnitude higher inference speed.
• Abstract（参考訳）: 多視点ステレオ再構成(MVS)と新規ビュー合成(NVS)を通じてシーンから3D情報を復元することは本質的に困難である。 3D Gaussian Splatting (3DGS) の出現により、リアルタイムでフォトリアリスティックなNVSが実現された。 その後、2Dガウススティング(2DGS)は2Dガウス原始ラスタ化を利用してレンダリング中の正確な幾何学的表現を実現し、リアルタイム性能を維持しながら3Dシーン再構成を改善した。 最近のアプローチでは、3次元ガウスパラメータを回帰する一般化可能なMVSベースの学習フレームワークにおいて、3DGSを用いたスパースリアルタイムNVSの課題に対処している。 本研究は, スパース3次元再構築とNVSを共同で行うという課題に対処し, 両課題の遂行に成功している。 本研究では,2次元GS表面要素パラメータをフィードフォワード方式で回帰し,スパースビュー画像から3次元形状再構成とNVSを行うMVSベースの学習パイプラインを提案する。 さらに、我々の一般化可能なパイプラインは、既存の基礎的なマルチビューの深い視覚的特徴の恩恵を受けることができることを示す。 得られたモデルは,DTUスパース3D再構成ベンチマークにおける最先端の成果を,最先端のNVSと同様に,チャンファーから地上のトラスまでの距離で達成する。 また、BlendedMVS, Tanks and Templesデータセットの強力な一般化も示している。 提案モデルは,暗黙表現のボリュームレンダリングに基づくフィードフォワードスパースビュー再構成において,従来よりも2桁ほど高速な推論速度を提供しながら,先行技術よりも優れていたことに留意する。

関連論文リスト

• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
  InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。 InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。 3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。