Beyond Heuristics: Learnable Density Control for 3D Gaussian Splatting
Abstractの概要
本論文は、3D Gaussian Splatting（3DGS）における手作業で設計されたヒューリスティックな密度制御を、強化学習（RL）で最適化された学習可能なポリシーネットワークに置き換えるフレームワーク「LeGS」を提案する。ポリシーネットワークは、勾配および感度特徴量に基づき、各ガウシアンに対して維持・クローン・分割・剪定の4つの離散的アクションから選択を行う。感度ベースの報酬関数は各ガウシアンの再構成品質への限界的貢献を定量化し、著者らは報酬計算の複雑度をO(N²)からO(N)に削減する閉形式解を導出している。Mip-NeRF 360、Tanks & Temples、Deep Blendingでの実験により、LeGSはコンパクトなガウシアン数を維持しつつ、比較手法の中で最良の再構成メトリクスを達成することが示された。
新規性
主要な新規性は、3DGSの密度制御をパラメータ化されたポリシーネットワークによるRL問題として再定式化し、固定的なヒューリスティックの密度化・剪定ルールを置き換えた点にある。また、ガウシアンごとの再レンダリングを回避する正確な閉形式計算を持つ感度分析ベースの報酬と、PPO学習を安定化させるために別個のクリティックネットワークの代わりに維持アクションベースの価値ベースラインを導入している。
成果
LeGSは評価された全3つのベンチマークデータセットにおいて比較ベースライン手法の中で最良の再構成メトリクスを達成し、バニラ3DGSに対してMip-NeRF 360で+0.81 dB、Tanks & Templesで+0.99 dBのPSNR向上を、比較的コンパクトなガウシアン数を維持しながら実現した。閉形式の感度計算により、Bicycleシーンにおけるステップごとのスコア計算時間がナイーブなO(N²)アプローチの30.5 msからO(N)の0.9 msに削減され、FastGS*と比較した総学習オーバーヘッドはデータセット全体で約80〜100秒の追加に留まる。
論文の注目点
- LeGSは3DGSの密度制御を強化学習問題として定式化し、閾値ベースのヒューリスティックをガウシアンごとのアクション（維持・クローン・分割・剪定）を選択するポリシーネットワークに置き換えた。
- 感度ベースの報酬は、正確な閉形式定式化により各ガウシアンの再構成品質への限界的貢献を定量化し、計算複雑度をO(N²)からO(N)に削減、報告された効率テストではスコア計算時間を30.5 msから0.9 msに短縮した。
- Mip-NeRF 360、Tanks & Temples、Deep Blendingにおいて、LeGSはコンパクトなガウシアン表現で比較手法中最良の再構成品質を達成し、FastGS*に対する追加学習時間はわずか80〜100秒に留まった。