論文の概要: SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
- arxiv url: http://arxiv.org/abs/2610.02660v1
- Date: Fri, 02 Oct 2026 01:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.156019
- Title: SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
- Title(参考訳): SpectralCache: スペクトル特徴キャッシングによる拡散ベースの世界モデルの高速化
- Abstract要約: 拡散に基づく世界モデルは、高品質な対話型環境生成を可能にするが、デノナイジング時のトランスフォーマー評価によるかなりの推論オーバーヘッドに悩まされる。
既存のキャッシング手法は主に特徴やトークンレベルで時間的冗長性を利用しており、基礎となる数学的構造は探索されていない。
安定な特異部分空間を再利用し,線形外挿による低次元特異値のみを推定する,訓練不要なスペクトルキャッシュフレームワークであるSpectralCacheを提案する。
- 参考スコア(独自算出の注目度): 32.19696255392325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion-based world models enable high-quality interactive environment generation but suffer from substantial inference overhead due to repeated Transformer evaluations during denoising. Existing caching methods mainly exploit temporal redundancy at the feature or token level, leaving the underlying mathematical structure of diffusion features largely unexplored. In this work, we reveal that world-model features exhibit highly stable singular subspaces across nearby denoising steps, while their singular values follow predictable evolution patterns. Building on this observation, we propose SpectralCache, a training-free spectral caching framework that reuses stable singular subspaces and estimates only low-dimensional singular values through linear extrapolation. We further exploit the spectral consistency between neighboring full-computation features to skip selected expensive backbone evaluations via singular value scaling. Extensive experiments on representative world models demonstrate that SpectralCache consistently improves inference efficiency while preserving generation quality. On HunyuanWorld-Voyager-13B, SpectralCache achieves 5.22x acceleration while maintaining a WorldScore of 65.90 for static scenes, substantially outperforming existing training-free caching methods in inference efficiency.
- Abstract(参考訳): 拡散に基づく世界モデルは、高品質な対話型環境生成を可能にするが、デノナイジング中のトランスフォーマーの繰り返し評価により、かなりの推論オーバーヘッドに悩まされる。
既存のキャッシング手法は主に特徴やトークンレベルで時間的冗長性を利用しており、基礎となる数学的構造は探索されていない。
本研究では,世界モデルの特徴が近傍の認知段階にまたがって非常に安定な特異部分空間を示し,その特異値は予測可能な進化パターンに従うことを示した。
本研究では,安定な特異部分空間を再利用し,線形外挿による低次元特異値のみを推定する訓練不要なスペクトルキャッシュフレームワークであるSpectralCacheを提案する。
さらに、隣接する完全計算機能間のスペクトル一貫性を利用して、特異値スケーリングにより選択された高価なバックボーン評価を省略する。
代表的な世界モデルに関する大規模な実験により、SpectralCacheは、生成品質を維持しながら推論効率を一貫して改善することを示した。
Hunyuan World-Voyager-13Bで、SpectralCacheは静的シーンのWorldScore 65.90を維持しながら5.22倍の高速化を実現し、推論効率で既存のトレーニング不要キャッシュ手法よりも大幅に向上した。
関連論文リスト
- WorldCache: Content-Aware Caching for Accelerated Video World Models [50.7543797435026]
我々はPerception-Constrained Dynamic CaCacheフレームワークであるtextbfWorldCacheを紹介する。
WorldCacheは、機能をいつ、どのように再利用するかを改善します。
PAI-Benchで評価されたCosmos-2.5-2Bでは、WorldCacheはtextbf$2.3times$推論スピードアップを実現し、textbf99.4%のベースライン品質を維持している。
論文 参考訳(メタデータ) (2026-03-23T17:59:54Z) - SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。
本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。
SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
論文 参考訳(メタデータ) (2026-02-27T17:36:09Z) - SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models [41.7269767513774]
スペクトル整合表現における決定を再利用するトレーニング不要キャッシュスケジュールであるSpectral-Evolution-Aware Cache(SeaCache)を紹介した。
理論的および経験的分析を通じて、雑音を抑えながらコンテンツ関連成分を保存するスペクトル・進化・認識フィルタを導出する。
多様なビジュアル生成モデルとベースラインの実験は、SeaCacheが最先端のレイテンシ品質のトレードオフを達成することを示している。
論文 参考訳(メタデータ) (2026-02-22T00:48:03Z) - Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Efficient Diffusion Transformers [9.698781486878206]
Diffusion Transformer (DiT) モデルは画像およびビデオ生成において前例のない品質を達成したが、反復サンプリングプロセスは計算的に禁止されている。
Singular Value Decomposition (SVD)を介して拡散機能を分解するサブスペース対応キャッシュフレームワークであるSVD-Cacheを提案する。
私たちのコードは補足的な素材で、Githubでリリースされます。
論文 参考訳(メタデータ) (2026-01-12T10:30:12Z) - DiCache: Let Diffusion Model Determine Its Own Cache [62.954717254728166]
DiCacheは、実行時に拡散モデルを加速するためのトレーニング不要のアダプティブキャッシュ戦略である。
Online Probe Profiling Schemeは浅層オンラインプローブを利用して,キャッシュエラーのオンザフライインジケータをリアルタイムで取得する。
Dynamic Cache Trajectory Alignmentは、マルチステップの履歴キャッシュから出力されるディープ層の特徴を近似する。
論文 参考訳(メタデータ) (2025-08-24T13:30:00Z) - Model Reveals What to Cache: Profiling-Based Feature Reuse for Video Diffusion Models [41.11005178050448]
ProfilingDiTは、フォアグラウンドとバックグラウンドに焦点を当てたブロックを明示的にアンタングルする、新しいアダプティブキャッシュ戦略である。
当社のフレームワークは,総合的な品質指標間の視覚的忠実度を維持しながら,大幅な加速を実現している。
論文 参考訳(メタデータ) (2025-04-04T03:30:15Z) - DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。
DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。
同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
論文 参考訳(メタデータ) (2023-12-01T17:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。