論文の概要: SmileSplat: Generalizable Gaussian Splats for Unconstrained Sparse Images

• arxiv url: http://arxiv.org/abs/2411.18072v1
• Date: Wed, 27 Nov 2024 05:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:45.773977
• Title: SmileSplat: Generalizable Gaussian Splats for Unconstrained Sparse Images
• Title（参考訳）: SmileSplat: 制約のないスパース画像のための一般化可能なガウススプラッター
• Authors: Yanyan Li, Yixin Fang, Federico Tombari, Gim Hee Lee,
• Abstract要約: SmileSplatという新しい一般化可能なガウス格子法が提案され,様々なシナリオに対して画素整列ガウス波を再構成する。 提案手法は,様々な3次元視覚タスクにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 91.28365943547703
• License:
• Abstract: Sparse Multi-view Images can be Learned to predict explicit radiance fields via Generalizable Gaussian Splatting approaches, which can achieve wider application prospects in real-life when ground-truth camera parameters are not required as inputs. In this paper, a novel generalizable Gaussian Splatting method, SmileSplat, is proposed to reconstruct pixel-aligned Gaussian surfels for diverse scenarios only requiring unconstrained sparse multi-view images. First, Gaussian surfels are predicted based on the multi-head Gaussian regression decoder, which can are represented with less degree-of-freedom but have better multi-view consistency. Furthermore, the normal vectors of Gaussian surfel are enhanced based on high-quality of normal priors. Second, the Gaussians and camera parameters (both extrinsic and intrinsic) are optimized to obtain high-quality Gaussian radiance fields for novel view synthesis tasks based on the proposed Bundle-Adjusting Gaussian Splatting module. Extensive experiments on novel view rendering and depth map prediction tasks are conducted on public datasets, demonstrating that the proposed method achieves state-of-the-art performance in various 3D vision tasks. More information can be found on our project page (https://yanyan-li.github.io/project/gs/smilesplat)
• Abstract（参考訳）: Sparse Multi-view Images can be Learned to predict explicit radiance field via Generalizable Gaussian Splatting approach, which can achieve wide application prospects in real-life when ground-truth camera parameters is not required as inputs。 本稿では,不規則なマルチビュー画像のみを必要とする多様なシナリオに対して,画素整列型ガウス波の再構成を行うために,新しい一般化可能なガウス波分割法であるSmileSplatを提案する。 第一に、ガウスのサーベルはガウスの回帰デコーダに基づいて予測される。 さらに, ガウスサーゲルの正規ベクトルは, 高い品質の標準偏差に基づいて拡張される。 第二に、ガウスおよびカメラパラメータ(外生および内生の両方)を最適化し、提案したバンドル調整ガウス散乱モジュールに基づく新しいビュー合成タスクのための高品質ガウス放射場を得る。 提案手法が様々な3次元視覚タスクにおける最先端性能を実現することを実証し,新しいビューレンダリングと深度マップ予測タスクを公開データセット上で実施した。 詳細はプロジェクトのページ(https://yanyan-li.github.io/project/gs/smilesplat)で確認できます。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• GaussianForest: Hierarchical-Hybrid 3D Gaussian Splatting for Compressed Scene Modeling [40.743135560583816]
  本稿では,ハイブリッド3Dガウスの森として景観を階層的に表現するガウス・フォレスト・モデリング・フレームワークを紹介する。 実験により、ガウス・フォレストは同等の速度と品質を維持するだけでなく、圧縮速度が10倍を超えることが示されている。
  論文  参考訳（メタデータ） (2024-06-13T02:41:11Z)
• MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
  入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-21T17:59:58Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。