論文の概要: Z-Cache: Accelerating Diffusion Transformers via Self-Reflection
- arxiv url: http://arxiv.org/abs/2611.01846v1
- Date: Sun, 01 Nov 2026 12:26:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:50:34.591202
- Title: Z-Cache: Accelerating Diffusion Transformers via Self-Reflection
- Title(参考訳): Zキャッシュ:自己回帰による拡散変換器の高速化
- Abstract要約: 拡散変換器は視覚生成において最も強力なモデルとなっているが、それでも膨大な計算コストに悩まされている。
本稿では,自己回帰による高品質な生成を維持できる特徴キャッシング手法としてZキャッシュを提案する。
実験により、Zキャッシュでは拡散トランスフォーマーは元のモデルに匹敵する生成品質を達成できるが、推論速度は高速であることが示された。
- 参考スコア(独自算出の注目度): 19.651081892439212
- License:
- Abstract: Diffusion transformers have become the most powerful models for visual generation, but still suffer from massive computation costs. To solve this problem, feature caching has been proposed to cache the features of diffusion models in the previous computation steps and then reuse them in the following caching steps, which brings significant acceleration but also degradation in generation quality. To address this problem, this paper proposes Z-cache as a feature caching method that can maintain high-quality generation through self-reflection. Concretely, we observe that the error from feature caching tends to be sharply reduced after each full computation. Based on this observation, Z-Cache is designed to first predict the features in the future caching steps and then perform a full computation. After that, Z-Cache returns to the caching steps and re-predicts them based on the previous and the current computation steps, which brings correction in features. Experiments demonstrate that with Z-Cache, diffusion transformers achieve comparable generation quality to the original model but with faster inference speed, for instance, 6.22X acceleration on FLUX-dev for text-to-image generation. Our code is released on GitHub.
- Abstract(参考訳): 拡散変換器は視覚生成において最も強力なモデルとなっているが、それでも膨大な計算コストに悩まされている。
この問題を解決するために、前回の計算ステップで拡散モデルの特徴をキャッシュし、以下のキャッシュステップで再利用する機能キャッシングが提案されている。
この問題に対処するため,本稿では,自己回帰による高品質な生成を維持可能な機能キャッシング手法としてZキャッシュを提案する。
具体的には,機能キャッシングによる誤差が,全計算後に急激に減少する傾向にあることを示す。
この観測に基づいて、Z-Cacheは、まず将来のキャッシングステップの機能を予測し、完全な計算を実行するように設計されている。
その後、Z-Cacheはキャッシュステップに戻り、前と現在の計算ステップに基づいてそれらを再予測する。
Zキャッシュでは、拡散トランスフォーマーは元のモデルに匹敵する生成品質を実現するが、高速な推論速度、例えばFLUX-devの6.22Xアクセラレーションによってテキスト・ツー・イメージ生成を実現する。
私たちのコードはGitHubでリリースされています。
関連論文リスト
- PreciseCache: Precise Feature Caching for Efficient and High-fidelity Video Generation [35.47114707080758]
高い計算コストと遅い推論は、ビデオ生成モデルの実践的応用を妨げる。
我々は,真に冗長な計算を正確に検出し,スキップするプラグイン・アンド・プレイ・フレームワークである textbfPreciseCache を提案する。
論文 参考訳(メタデータ) (2026-03-01T08:08:49Z) - SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。
本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。
SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
論文 参考訳(メタデータ) (2026-02-27T17:36:09Z) - DiCache: Let Diffusion Model Determine Its Own Cache [62.954717254728166]
DiCacheは、実行時に拡散モデルを加速するためのトレーニング不要のアダプティブキャッシュ戦略である。
Online Probe Profiling Schemeは浅層オンラインプローブを利用して,キャッシュエラーのオンザフライインジケータをリアルタイムで取得する。
Dynamic Cache Trajectory Alignmentは、マルチステップの履歴キャッシュから出力されるディープ層の特徴を近似する。
論文 参考訳(メタデータ) (2025-08-24T13:30:00Z) - MagCache: Fast Video Generation with Magnitude-Aware Cache [91.2771453279713]
我々は、様々なモデルとプロンプトで観察される統一等級法則という、新しく頑健な発見を導入する。
我々は、エラーモデリング機構と適応キャッシュ戦略を用いて、重要でないタイムステップを適応的にスキップするMagnitude-aware Cache(MagCache)を導入する。
実験の結果、MagCacheはOpen-Sora、CogVideoX、Wan 2.1、HunyuanVideoで2.10x-2.68倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2025-06-10T17:59:02Z) - FEB-Cache: Frequency-Guided Exposure Bias Reduction for Enhancing Diffusion Transformer Caching [10.760030872557374]
Diffusion Transformer (DiT) は優れた生成機能を備えているが、計算複雑性が高いため大きな課題に直面している。
本稿では,キャッシュが露出バイアスを大幅に増幅し,生成品質が低下することを確認する。
我々は,非露出バイアス拡散プロセスと整合した共同キャッシュ戦略であるFEBキャッシュを導入する。
論文 参考訳(メタデータ) (2025-03-10T09:49:18Z) - Accelerating Diffusion Transformers with Dual Feature Caching [25.36988865752475]
拡散変換器(DiT)は画像およびビデオ生成において支配的な手法となっているが、依然としてかなりの計算コストを被っている。
DiTアクセラレーションの効果的なアプローチとして、機能キャッシング手法は、以前のタイムステップでDiTの特徴をキャッシュするように設計されている。
以前のタイムステップでキャッシュされたすべての機能を積極的に再利用することで、世代品質が大幅に低下する。
論文 参考訳(メタデータ) (2024-12-25T14:00:14Z) - Ca2-VDM: Efficient Autoregressive Video Diffusion Model with Causal Generation and Cache Sharing [66.66090399385304]
Ca2-VDMは、Causal生成とキャッシュ共有を備えた効率的な自己回帰VDMである。
因果生成のために一方向の特徴計算を導入し、前回の自己回帰ステップで条件付きフレームのキャッシュをプリ計算できるようにする。
キャッシュ共有では、巨大なキャッシュストレージコストを避けるために、すべてのデノナイズステップでキャッシュを共有する。
論文 参考訳(メタデータ) (2024-11-25T13:33:41Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳(メタデータ) (2024-06-03T18:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。