論文の概要: ForeSplat: Optimization-Aware Foresight for Feed-Forward 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2605.22020v2
- Date: Fri, 22 May 2026 02:28:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 14:44:53.7676
- Title: ForeSplat: Optimization-Aware Foresight for Feed-Forward 3D Gaussian Splatting
- Title(参考訳): ForeSplat: フィードフォワード3Dガウススプレイティングの最適化
- Authors: Yuke Li, Weihang Liu, Cheng Zhang, Yuefeng Zhang, Jiadi Cui, Zixuan Wang, Junran Ding, Haoyu Wu, Yujiao Shi, Jingyi Yu, Xin Lou,
- Abstract要約: ForeSplatはフィードフォワード3DGSモデルのための最適化対応のトレーニングフレームワークである。
ForeSplatはフィードフォワードモデルのキャパシティ圧力を大幅に低減する。
償却予測とシーンごとの最適化のギャップを埋める。
- 参考スコア(独自算出の注目度): 65.02700555625749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feed-forward 3D Gaussian Splatting models offer fast single-pass reconstruction,but scaling them to match per-scene optimization quality is fundamentally hindered by the scarcity of large-scale 3D annotations. A practical compromise is predict-then-refine,where post-prediction optimization compensates for the limited capacity of the feed-forward network. However,standard feed-forward 3DGS is trained solely for zero-step rendering error,ignoring whether its output constitutes a good initialization for the downstream optimizer. We present ForeSplat,an optimization-aware training framework that equips feed-forward 3DGS models to produce initializations explicitly designed for rapid,effective refinement. By offloading part of the scene-modeling burden to the optimizer,ForeSplat substantially reduces the capacity pressure on the feed-forward model,making high-quality reconstruction feasible even with compact networks. At its core is MetaGrad,a lightweight multi-anchor meta-gradient training rule that bypasses costly higher-order differentiation through the 3DGS optimizer. MetaGrad unrolls a short inner-loop refinement trajectory,samples anchor states,and back-propagates aggregated first-order gradients to the prediction head as a surrogate optimization-aware signal. This fine-tuning adds no inference cost and enables high-quality reconstruction within seconds after a few refinement steps. We instantiate ForeSplat on diverse backbones,including AnySplat,Pi3X,and a distilled variant tailored for edge deployment. Across all tested architectures,a ForeSplat-trained initialization converges in fewer refinement steps and reaches a higher peak reconstruction quality than its vanilla counterpart,even fully converged. The framework consistently bridges the gap between amortized prediction and per-scene optimization,establishing a practical path toward lightweight,high-fidelity 3D reconstruction.
- Abstract(参考訳): フィードフォワード3Dガウススプラッティングモデルは、高速なシングルパス再構成を提供するが、大規模な3Dアノテーションの不足により、シーンごとの最適化品質に匹敵するスケーリングが根本的に妨げられている。
実際の妥協は予測-then-refineであり、予測後最適化はフィードフォワードネットワークの限られた容量を補う。
しかし、標準フィードフォワード3DGSは、出力が下流オプティマイザの優れた初期化を構成するかどうかを無視して、ゼロステップレンダリングエラーのためにのみ訓練されている。
本稿では,フィードフォワード3DGSモデルに最適化対応のトレーニングフレームワークであるForeSplatを提案する。
シーンモデリング負荷の一部をオプティマイザにオフロードすることで、ForeSplatはフィードフォワードモデルにおけるキャパシティ圧力を大幅に低減し、コンパクトネットワークでも高品質なリコンストラクションを実現する。
コアとなるMetaGradは,3DGSオプティマイザによる高次の差別化を回避した,軽量なマルチアンカーメタグラディエントトレーニングルールである。
MetaGradは、短いインナーループ精製軌道をアンカー状態にアンカーし、サロゲート最適化対応信号として、予測ヘッドへの集約された1次勾配をバックプロパゲートする。
この微調整は推論コストを増し、数ステップの洗練後に数秒以内に高品質な再構築を可能にする。
ForeSplatをAnySplat,Pi3Xなどさまざまなバックボーン上でインスタンス化し、エッジデプロイメント用に調整された蒸留版を作成。
テストされた全てのアーキテクチャ全体において、ForeSplatで訓練された初期化はより少ない洗練段階に収束し、バニラよりも高いピーク再現品質に達し、完全に収束している。
このフレームワークは、不死化予測とシーンごとの最適化のギャップを一貫して埋め、軽量で高忠実な3D再構成への実践的な道のりを確立している。
関連論文リスト
- Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。
その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
論文 参考訳(メタデータ) (2026-05-15T09:21:29Z) - Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。
フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
論文 参考訳(メタデータ) (2026-04-01T15:40:20Z) - A Step to Decouple Optimization in 3DGS [38.797134528503015]
3次元ガウススプラッティング(3DGS)は、リアルタイムな新規なビュー合成のための強力な技術として登場した。
本稿では,プロセスをSparse Adam, Re-State Regularization, Decoupled Attribute Regularizationに分割する。
論文 参考訳(メタデータ) (2026-01-23T13:34:39Z) - QuickSplat: Fast 3D Surface Reconstruction via Learned Gaussian Initialization [69.50126552763157]
表面再構成はコンピュータビジョンとグラフィックスの基本であり、3Dモデリング、混合現実、ロボット工学などの応用を可能にする。
レンダリングに基づく既存のアプローチは有望な結果を得るが、シーンごとに最適化されるため、テクスチャレスな領域をモデル化するのに苦労する可能性がある。
大規模屋内シーンの2次元ガウススプラッティング最適化のための高密度初期化を生成するために,データ駆動の先行処理を学習するQuickSplatを紹介する。
論文 参考訳(メタデータ) (2025-05-08T18:43:26Z) - FreeSplat++: Generalizable 3D Gaussian Splatting for Efficient Indoor Scene Reconstruction [50.534213038479926]
FreeSplat++は大規模な屋内全シーン再構築の代替手法である。
深度調整による微調整により,再現精度が大幅に向上し,トレーニング時間も大幅に短縮された。
論文 参考訳(メタデータ) (2025-03-29T06:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。