論文の概要: SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction
- arxiv url: http://arxiv.org/abs/2409.11211v1
- Date: Tue, 17 Sep 2024 14:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 16:35:30.157884
- Title: SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction
- Title（参考訳）: SplatFields:スパルス3次元および4次元再構成のためのニューラルガウススプラット
- Authors: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer,
- Abstract要約: 3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。
暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。
当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
- 参考スコア（独自算出の注目度）: 24.33543853742041
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.
- Abstract（参考訳）: マルチビュー画像から3D静的シーンと4Dダイナミックイベントをディジタイズすることは、コンピュータビジョンとグラフィックスにおいて長年の課題であった。
近年, 3D Gaussian Splatting (3DGS) が実用的かつスケーラブルな再構築手法として登場し, その印象的な再構築品質, リアルタイムレンダリング機能, 広く使用されている可視化ツールとの互換性などにより人気を博している。
しかし、高品質なシーン再構築を実現するためには、かなりの数のインプットビューが必要である。
この課題は特にダイナミックなシーンをキャプチャする上で深刻で、広いカメラアレイを配置することは違法にコストがかかる可能性がある。
本研究では,スパース再構成における3DGS手法の最適性能に寄与する要因の一つとしてスプレート特徴の空間的自己相関が欠如していることを明らかにする。
この問題に対処するため,暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。
これにより、様々なシナリオにおける再構築品質が一貫した向上をもたらす。
当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
関連論文リスト
- SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image [11.391665055835249]
Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。
現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。
本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
論文 参考訳（メタデータ） (2024-11-19T12:52:37Z) - MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳（メタデータ） (2024-10-04T18:00:07Z) - TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers [14.708092244093665]
我々は,正確な局所特徴マッチングを導くために,予測深度信頼マップを利用する戦略を開発する。
本稿では,RealEstate10KベンチマークとACIDベンチマークの両方で最高の性能を示すTranSplatという新しいG-3DGS手法を提案する。
論文 参考訳（メタデータ） (2024-08-25T08:37:57Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。
3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。
本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。
実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-28T07:12:22Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。
提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。
この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
論文 参考訳（メタデータ） (2023-08-28T17:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。