Fast Spatial Memory with Elastic Test-Time Training
Abstractの概要
本論文は、長コンテキストの3Dおよび4D再構成における推論時の高速重み更新を安定化させるため、動的に維持されるアンカー重みの周りにFisher重み付き弾性事前分布を導入するLarge Chunk Test-Time Training (LaCT) の拡張であるElastic Test-Time Training (LaCET) を提案する。アンカー重みはストリーミング指数移動平均（EMA）により更新され、チャンク間の可塑性と安定性のバランスを取り、完全可塑的なLaCTにおける壊滅的忘却と過学習の問題に対処する。LaCETに基づき、著者らはFast Spatial Memory (FSM) を導入する。これは、ポーズ付き画像の長いシーケンスから時空間表現を学習し、新規視点・新規時刻でのレンダリングを行うスケーラブルなモデルである。本論文では、LVSM形式（直接ビュー合成）とLRM形式（明示的ガウシアンベース）のデコーダバリアントの両方を提示し、Stereo4Dでのアブレーション実験、および3D（DL3DV）と4D（Stereo4D、NVIDIA）の新規ビュー合成タスクでのベンチマーク評価を行っている。
新規性
主な新規性は、長シーケンス再構成のためのテスト時訓練を弾性高速重みプロセスとして再定式化した点にあり、チャンク単位の適応がFisherスタイルの重要度推定（EWC、MAS、SIバリアント）と動的に維持されるストリーミングEMAアンカーによって正則化される。これは継続学習における弾性重み統合に着想を得ている。また、本研究はLaCETメカニズムを用いて、任意のタイムスタンプを持つポーズ付き画像の長シーケンスを入力として受け取り、新規視点・時刻の組み合わせをレンダリングする初の大規模4D再構成モデルとしてFSMを導入している。
成果
Stereo4Dでのアブレーション実験において、ストリーミングEMAアンカーを用いた弾性訓練は、4チャンク設定でバニラLaCTを大幅に上回り、ストリーミングEMA + MASバリアントはPSNR 29.928、LPIPS 0.0519、SSIM 0.898を達成した（非弾性4チャンクLaCTでは26.908、0.0988、0.814）。分析により、過学習の低減とスパース入力設定下でのカメラ補間ショートカットへの依存軽減が示された。ベンチマーク評価では、FSM-LVSMが256×256解像度でStereo4DにおいてPSNR 32.16、NVIDIAにおいてPSNR 23.90を達成し、従来のフィードフォワード手法を上回りつつ、静的シーンのDL3DVでも競争力のある結果（256×256でPSNR 26.69）を維持している。
論文の注目点
- Elastic Test-Time Training (LaCET) は、チャンク単位の高速重み更新後に統合ステップを追加し、Fisherスタイルの重要度推定（EWC、MAS、またはSIバリアント）とストリーミングEMAアンカー重みを用いて、推論時の高速重みドリフトを制限し壊滅的忘却を軽減する。
- 提案されたFast Spatial Memory (FSM) モデルは、LaCETブロックを用いてポーズ付き画像の長いシーケンスからシーンレベルの時空間表現を学習し、任意の新規視点・時刻クエリに対してLVSM形式の直接ビュー合成とLRM形式のガウシアンスプラッティングレンダリングの両方をサポートする。
- アブレーション実験により、ストリーミングEMAアンカーを用いた弾性マルチチャンク適応が、完全可塑的なLaCTに対して汎化性能と再構成品質を大幅に向上させることが実証され、特に長シーケンスおよび動的シーン設定における過学習とカメラ補間ショートカットの軽減が顕著であった。
参考リンク
- arXiv: https://arxiv.org/abs/2604.07350v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2604.07350v1
- Hugging Face Papers: https://huggingface.co/papers/2604.07350
- Project: https://fast-spatial-memory.github.io/