論文の概要: Taming 3DGS: High-Quality Radiance Fields with Limited Resources

• arxiv url: http://arxiv.org/abs/2406.15643v1
• Date: Fri, 21 Jun 2024 20:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 21:14:22.402371
• Title: Taming 3DGS: High-Quality Radiance Fields with Limited Resources
• Title（参考訳）: 3DGSのテイミング:限られた資源を持つ高品質レーダランスフィールド
• Authors: Saswat Subhajyoti Mallick, Rahul Goel, Bernhard Kerbl, Francisco Vicente Carrasco, Markus Steinberger, Fernando De La Torre,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
• 参考スコア（独自算出の注目度）: 50.92437599516609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has transformed novel-view synthesis with its fast, interpretable, and high-fidelity rendering. However, its resource requirements limit its usability. Especially on constrained devices, training performance degrades quickly and often cannot complete due to excessive memory consumption of the model. The method converges with an indefinite number of Gaussians -- many of them redundant -- making rendering unnecessarily slow and preventing its usage in downstream tasks that expect fixed-size inputs. To address these issues, we tackle the challenges of training and rendering 3DGS models on a budget. We use a guided, purely constructive densification process that steers densification toward Gaussians that raise the reconstruction quality. Model size continuously increases in a controlled manner towards an exact budget, using score-based densification of Gaussians with training-time priors that measure their contribution. We further address training speed obstacles: following a careful analysis of 3DGS' original pipeline, we derive faster, numerically equivalent solutions for gradient computation and attribute updates, including an alternative parallelization for efficient backpropagation. We also propose quality-preserving approximations where suitable to reduce training time even further. Taken together, these enhancements yield a robust, scalable solution with reduced training times, lower compute and memory requirements, and high quality. Our evaluation shows that in a budgeted setting, we obtain competitive quality metrics with 3DGS while achieving a 4--5x reduction in both model size and training time. With more generous budgets, our measured quality surpasses theirs. These advances open the door for novel-view synthesis in constrained environments, e.g., mobile devices.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 しかし、そのリソース要件はユーザビリティを制限します。 特に制約のあるデバイスでは、モデルの過剰なメモリ消費のため、トレーニング性能は急速に低下し、しばしば完了しない。 この方法は、未定数のガウスアン(多くは冗長)と収束し、レンダリングが不必要に遅くなり、固定サイズの入力を期待する下流タスクでの使用が妨げられる。 これらの課題に対処するため、予算で3DGSモデルのトレーニングとレンダリングの課題に取り組む。 我々は、再建の質を高めるガウス人に対して密度化を推し進める、ガイド付き、純粋に建設的なデンシフィケーションプロセスを使用する。 モデルのサイズは、正確な予算に向けて制御された方法で継続的に増加し、その貢献を計測するトレーニング時間前のガウシアンをスコアベースで密度化します。 3DGSの元々のパイプラインを慎重に分析した結果、より高速で数値的に等価な勾配計算と属性更新のソリューションが導出され、効率的なバックプロパゲーションのための代替の並列化が実現された。 また,トレーニング時間の短縮に適した品質保存近似も提案する。 これらの拡張は、トレーニング時間を短縮し、コンピューティングとメモリの要件を低くし、高品質で堅牢でスケーラブルなソリューションを提供する。 評価の結果, モデルサイズとトレーニング時間の両方で4～5倍の縮小を実現しつつ, 3DGSを用いた競争品質指標が得られた。 より寛大な予算で、私たちの測定された品質は彼らのものを超えます。 これらの進歩は、制約のある環境、例えばモバイルデバイスにおいて、新しいビュー合成の扉を開く。

関連論文リスト

• HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting [7.507657419706855]
  本稿では,HiCoMと呼ばれる3つの重要なコンポーネントを持つ効率的なフレームワークを提案する。 まず、摂動平滑化戦略を用いて、コンパクトで頑健な初期3DGS表現を構築する。 次に、3次元ガウスの固有非一様分布と局所的一貫性を利用する階層的コヒーレント運動機構を導入する。 2つの広く利用されているデータセットを用いて行った実験により、我々のフレームワークは最先端の手法の学習効率を約20%向上することが示された。
  論文  参考訳（メタデータ） (2024-11-12T04:40:27Z)
• CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
  CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。 分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。 本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
  論文  参考訳（メタデータ） (2024-11-01T17:59:31Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• DOGS: Distributed-Oriented Gaussian Splatting for Large-Scale 3D Reconstruction Via Gaussian Consensus [56.45194233357833]
  3DGSを分散訓練するDoGaussianを提案する。 大規模シーンで評価すると,3DGSのトレーニングを6回以上高速化する。
  論文  参考訳（メタデータ） (2024-05-22T19:17:58Z)
• EfficientGS: Streamlining Gaussian Splatting for Large-Scale High-Resolution Scene Representation [29.334665494061113]
  能率GS」は3DGSを高解像度で大規模なシーンに最適化する高度なアプローチである。 3DGSの密度化過程を解析し,ガウスの過剰増殖領域を同定した。 本稿では,ガウス的増加を重要な冗長プリミティブに制限し,表現効率を向上する選択的戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-19T10:32:30Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS [40.94643885302646]
  3Dガウシアンスプラッティング(3D-GS)は、ノベルビューシーンの合成で人気がある。 レイディアンス・ニューラル・フィールド(NeRF)に関連する長いトレーニング時間と遅いレンダリング速度の課題に対処する。 本稿では,メモリ単位の記憶容量を大幅に削減するために,量子化埋め込みを利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。