論文の概要: Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2412.04887v1
• Date: Fri, 06 Dec 2024 09:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:09.427788
• Title: Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction
• Title（参考訳）: Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction (特集:平成11年度日本建築学会大会)
• Authors: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang,
• Abstract要約: 3D Gaussian Splattingは大規模なシーン再構築において顕著な成功を収めた。 しかし、高いトレーニングメモリ消費とストレージオーバーヘッドのため、課題は継続する。 本稿では,運動量に基づく自己蒸留を利用して,一貫性と精度を向上させる新しい手法であるMomentum-GSを提案する。
• 参考スコア（独自算出の注目度）: 17.101377983111217
• License:
• Abstract: 3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/
• Abstract（参考訳）: 3D Gaussian Splattingは大規模なシーン再構築において顕著な成功を収めているが、高いトレーニングメモリ消費とストレージオーバーヘッドのために課題は続いている。 暗黙的および明示的な機能を統合したハイブリッド表現は、これらの制限を緩和する方法を提供する。 しかし、並列化ブロックワイドトレーニングに適用する場合、各ブロックを個別にトレーニングする際にデータ多様性が低下するため、再構成精度が劣化するため、2つの重要な問題が発生し、並列トレーニングは、分割ブロックの数を利用可能なGPU数に制限する。 これらの問題に対処するために、運動量に基づく自己蒸留を利用して、物理GPU数からブロック数を切り離しながら、ブロック間の一貫性と精度を向上させる新しいアプローチであるMomentum-GSを提案する。 本手法は,教師のガウス復号器を運動量で更新し,訓練中に安定した参照を保証する。 この教師は, 各ブロックに自己蒸留方式でグローバルな指導を与え, 再構成における空間的一貫性を促進する。 さらに,ブロック間の整合性を確保するため,ブロック重み付けを導入し,各ブロック重み付けをその復元精度に応じて動的に調整する。 大規模シーンにおける大規模な実験により,我々の手法は既存の手法を一貫して上回り,都市ガウシアンよりLPIPSを12.8%向上させ,分割ブロックを少なくし,新しい最先端技術を確立した。 プロジェクトページ:https://jixuan-fan.github.io/Momentum-GS_Page/

関連論文リスト

• CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
  CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。 分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。 本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
  論文  参考訳（メタデータ） (2024-11-01T17:59:31Z)
• Taming 3DGS: High-Quality Radiance Fields with Limited Resources [50.92437599516609]
  3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
  論文  参考訳（メタデータ） (2024-06-21T20:44:23Z)
• Breaking the Memory Wall for Heterogeneous Federated Learning with Progressive Training [17.622361560299368]
  ProFLはプログレッシブFLフレームワークで、オリジナルのアーキテクチャに基づいてモデルを異なるブロックに分割する。 ProFLはピークメモリのフットプリントを57.4%まで効果的に削減し、モデル精度を82.4%まで向上することを示した。
  論文  参考訳（メタデータ） (2024-04-20T11:08:07Z)
• CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians [64.6687065215713]
  CityGaussianは、大規模な3DGSのトレーニングとレンダリングを効率化するために、新しい分別/分別トレーニングアプローチとLevel-of-Detail(LoD)戦略を採用している。 我々のアプローチは最先端のレンダリング品質を実現し、大規模なシーンを全く異なるスケールで一貫したリアルタイムレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-04-01T14:24:40Z)
• Accurate Block Quantization in LLMs with Outliers [0.6138671548064355]
  極大規模LLMの推理需要はここ数カ月で大きく伸びている。 この問題は処理中のシーケンスの長さが爆発的に増加することで増大する。 重みとアクティベーションの両方の正確な量子化を可能にする様々な量子化技術が提案されている。
  論文  参考訳（メタデータ） (2024-03-29T12:15:06Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Block-wise Training of Residual Networks via the Minimizing Movement Scheme [10.342408668490975]
  本研究では,分散空間における勾配流の最小化運動スキームに着想を得たレイヤワイドトレーニング手法を開発した。 この方法は各ブロックの運動エネルギー正則化に比例し、ブロックを最適な輸送マップとし、それらを規則性で与える。 これは、レイヤーワイドトレーニングで観測される停滞問題を緩和することで機能し、強欲に訓練された初期の層が過度に適合し、深い層が一定の深さの後にテストの精度を高めるのを阻止する。
  論文  参考訳（メタデータ） (2022-10-03T14:03:56Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。