論文の概要: MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images

• arxiv url: http://arxiv.org/abs/2403.14627v2
• Date: Thu, 18 Jul 2024 13:10:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:11:56.694962
• Title: MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images
• Title（参考訳）: MVSplat: まばらなマルチビュー画像から高効率な3Dガウス撮影
• Authors: Yuedong Chen, Haofei Xu, Chuanxia Zheng, Bohan Zhuang, Marc Pollefeys, Andreas Geiger, Tat-Jen Cham, Jianfei Cai,
• Abstract要約: 入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 102.7646120414055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MVSplat, an efficient model that, given sparse multi-view images as input, predicts clean feed-forward 3D Gaussians. To accurately localize the Gaussian centers, we build a cost volume representation via plane sweeping, where the cross-view feature similarities stored in the cost volume can provide valuable geometry cues to the estimation of depth. We also learn other Gaussian primitives' parameters jointly with the Gaussian centers while only relying on photometric supervision. We demonstrate the importance of the cost volume representation in learning feed-forward Gaussians via extensive experimental evaluations. On the large-scale RealEstate10K and ACID benchmarks, MVSplat achieves state-of-the-art performance with the fastest feed-forward inference speed (22~fps). More impressively, compared to the latest state-of-the-art method pixelSplat, MVSplat uses $10\times$ fewer parameters and infers more than $2\times$ faster while providing higher appearance and geometry quality as well as better cross-dataset generalization.
• Abstract（参考訳）: 入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 ガウス中心を正確にローカライズするために、平面スイーピングによるコストボリューム表現を構築し、コストボリュームに格納されたクロスビュー特徴類似性は、深さの推定に有用な幾何学的手がかりを提供する。 また、他のガウス原始体のパラメータをガウス中心と共同で学習し、光度監督にのみ依存する。 本研究では,学習用フィードフォワードガウシアンにおけるコスト容積表現の重要性を実験的に検証した。 大規模なRealEstate10KとACIDベンチマークでは、MVSplatは高速なフィードフォワード推論速度(22〜fps)で最先端のパフォーマンスを達成する。 より印象的なことに、最新の最先端のメソッドであるPixelSplatと比較して、MVSplatは10ドル(約10万円)のパラメータを減らし、より高速な2ドル(約2万2000円)以上の推論を行う。

関連論文リスト

• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
  スパース画像からの新しいビュー合成(NVS)は3次元コンピュータビジョンにおいて大きく進歩している。 これはStructure-from-Motion (SfM) を用いたカメラパラメータの正確な初期推定に依存する 本研究では,スパースビュー画像から堅牢なNVSを向上するための,新規で効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
  本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。 提案手法はガウス版よりも平均で4%遅い。 レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
  論文  参考訳（メタデータ） (2024-02-01T11:46:44Z)
• pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
  pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。 我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
  論文  参考訳（メタデータ） (2023-12-19T17:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。