論文の概要: 4D Scaffold Gaussian Splatting for Memory Efficient Dynamic Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2411.17044v1
- Date: Tue, 26 Nov 2024 02:22:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:31:23.142200
- Title: 4D Scaffold Gaussian Splatting for Memory Efficient Dynamic Scene Reconstruction
- Title（参考訳）: 記憶能の高い動的シーン再構成のための4次元シャッフルドガウス切削法
- Authors: Woong Oh Cho, In Cho, Seoha Kim, Jeongmin Bae, Youngjung Uh, Seon Joo Kim,
- Abstract要約: ストレージコストを低減しつつ、4Dガウスの視覚的品質とレンダリング速度を維持する4Dアンカーベースのフレームワークを提案する。
実験結果から,4DGSよりも最先端の視覚的品質と97.8%のストレージ削減を実現した。
- 参考スコア（独自算出の注目度）: 27.455934322535853
- License:
- Abstract: Existing 4D Gaussian methods for dynamic scene reconstruction offer high visual fidelity and fast rendering. However, these methods suffer from excessive memory and storage demands, which limits their practical deployment. This paper proposes a 4D anchor-based framework that retains visual quality and rendering speed of 4D Gaussians while significantly reducing storage costs. Our method extends 3D scaffolding to 4D space, and leverages sparse 4D grid-aligned anchors with compressed feature vectors. Each anchor models a set of neural 4D Gaussians, each of which represent a local spatiotemporal region. In addition, we introduce a temporal coverage-aware anchor growing strategy to effectively assign additional anchors to under-reconstructed dynamic regions. Our method adjusts the accumulated gradients based on Gaussians' temporal coverage, improving reconstruction quality in dynamic regions. To reduce the number of anchors, we further present enhanced formulations of neural 4D Gaussians. These include the neural velocity, and the temporal opacity derived from a generalized Gaussian distribution. Experimental results demonstrate that our method achieves state-of-the-art visual quality and 97.8% storage reduction over 4DGS.
- Abstract（参考訳）: 動的シーン再構成のための既存の4Dガウス的手法は、高い視覚的忠実度と高速レンダリングを提供する。
しかし、これらの手法はメモリとストレージの過剰な要求に悩まされ、実際のデプロイが制限される。
本稿では、4Dガウスの視覚的品質とレンダリング速度を維持しながら、ストレージコストを大幅に削減する4Dアンカーベースのフレームワークを提案する。
提案手法は, 3次元足場を4次元空間に拡張し, 圧縮された特徴ベクトルを持つスパース4次元グリッドアラインアンカーを利用する。
それぞれのアンカーは、局所的な時空間領域を表す神経4Dガウスの集合をモデル化する。
さらに、時間的カバレッジ対応アンカー成長戦略を導入し、アンカーを非再構成動的領域に効果的に割り当てる。
提案手法は,ガウスの時間的カバレッジに基づいて蓄積した勾配を調整し,動的領域の復元品質を向上させる。
アンカーの数を減らし,ニューラル4Dガウスの定式化をさらに進める。
これには、神経速度、一般化されたガウス分布に由来する時間的不透明度が含まれる。
実験結果から,4DGSよりも最先端の視覚的品質と97.8%のストレージ削減を実現した。
関連論文リスト
- Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction [12.111389926333592]
現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度化されたガウスを常に更新する。
そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。
提案手法は,オンライン4次元再構成における最先端性能を実現し,実時間トレーニング速度の20%向上,表現品質の向上,リアルタイムレンダリング能力の向上を実証する。
論文 参考訳（メタデータ） (2024-11-22T10:47:47Z) - MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
本稿では,4DGSのためのメモリ効率フレームワークを提案する。
TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。
レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
論文 参考訳（メタデータ） (2024-10-17T14:47:08Z) - S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。
この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。
従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
論文 参考訳（メタデータ） (2024-08-23T12:51:49Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction [33.794584735264884]
動的内視鏡再建のための軽量4Dガウス切削フレームワーク(LGS)を提案する。
ガウス量の冗長性を最小限に抑えるため,変形対応プルーニングを提案する。
我々はまた、ガウス属性の次元を刻むことにより、非極端領域におけるテクスチャや照明の表現を単純化する。
論文 参考訳（メタデータ） (2024-06-23T10:49:39Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。