論文の概要: Taming 3DGS: High-Quality Radiance Fields with Limited Resources

• arxiv url: http://arxiv.org/abs/2406.15643v1
• Date: Fri, 21 Jun 2024 20:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 21:14:22.402371
• Title: Taming 3DGS: High-Quality Radiance Fields with Limited Resources
• Title（参考訳）: 3DGSのテイミング:限られた資源を持つ高品質レーダランスフィールド
• Authors: Saswat Subhajyoti Mallick, Rahul Goel, Bernhard Kerbl, Francisco Vicente Carrasco, Markus Steinberger, Fernando De La Torre,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
• 参考スコア（独自算出の注目度）: 50.92437599516609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has transformed novel-view synthesis with its fast, interpretable, and high-fidelity rendering. However, its resource requirements limit its usability. Especially on constrained devices, training performance degrades quickly and often cannot complete due to excessive memory consumption of the model. The method converges with an indefinite number of Gaussians -- many of them redundant -- making rendering unnecessarily slow and preventing its usage in downstream tasks that expect fixed-size inputs. To address these issues, we tackle the challenges of training and rendering 3DGS models on a budget. We use a guided, purely constructive densification process that steers densification toward Gaussians that raise the reconstruction quality. Model size continuously increases in a controlled manner towards an exact budget, using score-based densification of Gaussians with training-time priors that measure their contribution. We further address training speed obstacles: following a careful analysis of 3DGS' original pipeline, we derive faster, numerically equivalent solutions for gradient computation and attribute updates, including an alternative parallelization for efficient backpropagation. We also propose quality-preserving approximations where suitable to reduce training time even further. Taken together, these enhancements yield a robust, scalable solution with reduced training times, lower compute and memory requirements, and high quality. Our evaluation shows that in a budgeted setting, we obtain competitive quality metrics with 3DGS while achieving a 4--5x reduction in both model size and training time. With more generous budgets, our measured quality surpasses theirs. These advances open the door for novel-view synthesis in constrained environments, e.g., mobile devices.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 しかし、そのリソース要件はユーザビリティを制限します。 特に制約のあるデバイスでは、モデルの過剰なメモリ消費のため、トレーニング性能は急速に低下し、しばしば完了しない。 この方法は、未定数のガウスアン(多くは冗長)と収束し、レンダリングが不必要に遅くなり、固定サイズの入力を期待する下流タスクでの使用が妨げられる。 これらの課題に対処するため、予算で3DGSモデルのトレーニングとレンダリングの課題に取り組む。 我々は、再建の質を高めるガウス人に対して密度化を推し進める、ガイド付き、純粋に建設的なデンシフィケーションプロセスを使用する。 モデルのサイズは、正確な予算に向けて制御された方法で継続的に増加し、その貢献を計測するトレーニング時間前のガウシアンをスコアベースで密度化します。 3DGSの元々のパイプラインを慎重に分析した結果、より高速で数値的に等価な勾配計算と属性更新のソリューションが導出され、効率的なバックプロパゲーションのための代替の並列化が実現された。 また,トレーニング時間の短縮に適した品質保存近似も提案する。 これらの拡張は、トレーニング時間を短縮し、コンピューティングとメモリの要件を低くし、高品質で堅牢でスケーラブルなソリューションを提供する。 評価の結果, モデルサイズとトレーニング時間の両方で4～5倍の縮小を実現しつつ, 3DGSを用いた競争品質指標が得られた。 より寛大な予算で、私たちの測定された品質は彼らのものを超えます。 これらの進歩は、制約のある環境、例えばモバイルデバイスにおいて、新しいビュー合成の扉を開く。

関連論文リスト

• SpotlessSplats: Ignoring Distractors in 3D Gaussian Splatting [44.42317312908314]
  3D Gaussian Splatting (3DGS)は、3D再構成のための有望な技術であり、効率的なトレーニングとレンダリング速度を提供する。 現在の手法では、3DGSのビュー間の一貫性の仮定を満たすために、高度に制御された環境が必要である。 SpotlessSplatsは、トレーニング済みと汎用の機能と堅牢な最適化を併用して、過渡的障害を効果的に無視するアプローチである。
  論文  参考訳（メタデータ） (2024-06-28T17:07:11Z)
• Trimming the Fat: Efficient Compression of 3D Gaussian Splats through Pruning [17.097742540845672]
  脂肪を磨く」とは、モデルに符号化された余分な情報を除去する、ポストホックな勾配インフォームド・イテレーティブ・プルーニング技術である。 提案手法は,ベースラインモデルと同等の性能を維持しつつ,50$times$圧縮を実現し,最大600FPSの高速化を実現している。
  論文  参考訳（メタデータ） (2024-06-26T09:57:55Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• DoGaussian: Distributed-Oriented Gaussian Splatting for Large-Scale 3D Reconstruction Via Gaussian Consensus [56.45194233357833]
  DoGaussianは3DGSを分散的に訓練する方法である。 大規模シーンで評価すると,3DGSのトレーニングを6回以上高速化する。
  論文  参考訳（メタデータ） (2024-05-22T19:17:58Z)
• EfficientGS: Streamlining Gaussian Splatting for Large-Scale High-Resolution Scene Representation [29.334665494061113]
  能率GS」は3DGSを高解像度で大規模なシーンに最適化する高度なアプローチである。 3DGSの密度化過程を解析し,ガウスの過剰増殖領域を同定した。 本稿では,ガウス的増加を重要な冗長プリミティブに制限し,表現効率を向上する選択的戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-19T10:32:30Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS [40.94643885302646]
  3Dガウシアンスプラッティング(3D-GS)は、ノベルビューシーンの合成で人気がある。 レイディアンス・ニューラル・フィールド(NeRF)に関連する長いトレーニング時間と遅いレンダリング速度の課題に対処する。 本稿では,メモリ単位の記憶容量を大幅に削減するために,量子化埋め込みを利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:59:55Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。