論文の概要: FEB-Cache: Frequency-Guided Exposure Bias Reduction for Enhancing Diffusion Transformer Caching

• arxiv url: http://arxiv.org/abs/2503.07120v2
• Date: Tue, 05 Aug 2025 16:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 15:23:33.823521
• Title: FEB-Cache: Frequency-Guided Exposure Bias Reduction for Enhancing Diffusion Transformer Caching
• Title（参考訳）: FEBキャッシュ:拡散変圧器キャッシング向上のための周波数誘導露光バイアス低減
• Authors: Zhen Zou, Feng Zhao,
• Abstract要約: Diffusion Transformer (DiT) は優れた生成機能を備えているが、計算複雑性が高いため大きな課題に直面している。 本稿では,キャッシュが露出バイアスを大幅に増幅し,生成品質が低下することを確認する。 我々は,非露出バイアス拡散プロセスと整合した共同キャッシュ戦略であるFEBキャッシュを導入する。
• 参考スコア（独自算出の注目度）: 4.8677910801584385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformer (DiT) has exhibited impressive generation capabilities but faces great challenges due to its high computational complexity. To address this issue, various methods, notably feature caching, have been introduced. However, these approaches focus on aligning non-cache diffusion without analyzing why caching damage the generation processes. In this paper, we first confirm that the cache greatly amplifies the exposure bias, resulting in a decline in the generation quality. However, directly applying noise scaling is challenging for this issue due to the non-smoothness of exposure bias. We found that this phenomenon stems from the mismatch between its frequency response characteristics and the simple cache of Attention and MLP. Since these two components exhibit unique preferences for frequency signals, which provides us with a caching strategy to separate Attention and MLP to achieve an enhanced fit of exposure bias and reduce it. Based on this, we introduced FEB-Cache, a joint caching strategy that aligns with the non-exposed bias diffusion process (which gives us a higher performance cap) of caching Attention and MLP based on the frequency-guided cache table. Our approach combines a comprehensive understanding of the caching mechanism and offers a new perspective on leveraging caching to accelerate the diffusion process. Empirical results indicate that FEB-Cache optimizes model performance while concurrently facilitating acceleration.
• Abstract（参考訳）: Diffusion Transformer (DiT) は優れた生成機能を備えているが、計算複雑性が高いため大きな課題に直面している。 この問題に対処するため、様々なメソッド、特にフィーチャーキャッシングが導入されている。 しかし、これらのアプローチは、なぜキャッシュが生成プロセスにダメージを与えるのかを解析することなく、非キャッシュ拡散の整合性に重点を置いている。 本稿では,キャッシュが露出バイアスを大幅に増幅し,生成品質が低下することを確認する。 しかし、露光バイアスの非平滑性のため、この問題に対して直接ノイズスケーリングを適用することは困難である。 この現象は、周波数応答特性と、注意キャッシュとMDPの単純なキャッシュとのミスマッチに起因する。 これら2つのコンポーネントは周波数信号の独特な好みを示すため、Attention と MLP を分離して露出バイアスの増大を実現し、それを減らすキャッシング戦略が提供されます。 これに基づいて、周波数誘導キャッシュテーブルに基づくキャッシュ注意とMLPの非露出バイアス拡散プロセス(高いパフォーマンス上限を提供する)と整合した共同キャッシュ戦略であるFEB-Cacheを導入しました。 提案手法はキャッシング機構の包括的理解と,キャッシングを活用して拡散プロセスを加速する新たな視点を提供する。 実験の結果、FEB-Cacheはアクセラレーションを同時に促進しながらモデル性能を最適化することを示している。

関連論文リスト

• PromptTea: Let Prompts Tell TeaCache the Optimal Threshold [1.0665410339553834]
  一般的な加速戦略は、一定の間隔でキャッシング機構を介してモデル出力を再利用することである。 本稿では,入力プロンプトから直接推定されるシーンの複雑さに基づいて,再利用しきい値を自動的に調整する手法であるPrompt-Complexity-Aware(PCA)キャッシングを提案する。
  論文  参考訳（メタデータ） (2025-07-09T10:53:05Z)
• MagCache: Fast Video Generation with Magnitude-Aware Cache [91.51242917160373]
  我々は、様々なモデルとプロンプトで観察される統一等級法則という、新しく頑健な発見を導入する。 我々は、エラーモデリング機構と適応キャッシュ戦略を用いて、重要でないタイムステップを適応的にスキップするMagnitude-aware Cache(MagCache)を導入する。 実験の結果、MagCacheはOpen-SoraとWan 2.1でそれぞれ2.1倍と2.68倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-06-10T17:59:02Z)
• AB-Cache: Training-Free Acceleration of Diffusion Models via Adams-Bashforth Cached Feature Reuse [19.13826316844611]
  拡散モデルは生成的タスクにおいて顕著に成功したが、反復的認知過程は推論を遅くする。 本稿では,第2次Adams-Bashforth法を用いて認知過程を解析することにより理論的に理解する。 キャッシュされた結果を直接再利用する代わりに,拡散モデルに対するキャッシングに基づく新しい高速化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-13T08:29:58Z)
• Model Reveals What to Cache: Profiling-Based Feature Reuse for Video Diffusion Models [41.11005178050448]
  ProfilingDiTは、フォアグラウンドとバックグラウンドに焦点を当てたブロックを明示的にアンタングルする、新しいアダプティブキャッシュ戦略である。 当社のフレームワークは,総合的な品質指標間の視覚的忠実度を維持しながら,大幅な加速を実現している。
  論文  参考訳（メタデータ） (2025-04-04T03:30:15Z)
• QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
  Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。 DiTには、計算コストやメモリコストの増大など、大きな欠点がある。 我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
  論文  参考訳（メタデータ） (2025-03-09T10:31:51Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• Q&C: When Quantization Meets Cache in Efficient Image Generation [24.783679431414686]
  拡散変換器(DiT)の量子化とキャッシュ機構の組み合わせは簡単ではない。 本稿では,上記の課題に対処してハイブリッド加速法を提案する。 競合生成能力を保ちながら,DiTsを12.7倍高速化した。
  論文  参考訳（メタデータ） (2025-03-04T11:19:02Z)
• Timestep Embedding Tells: It's Time to Cache for Video Diffusion Model [55.64316746098431]
  Timestep Embedding Aware Cache (TeaCache)は、タイムステップ間のモデルアウトプットの変動を推定し、活用する、トレーニング不要なキャッシュアプローチである。 TeaCacheはOpen-Sora-Plan上で最大4.41倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-11-28T12:50:05Z)
• SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers [4.7170474122879575]
  Diffusion Transformer (DiT)は、画像、ビデオ、音声合成など、様々なタスクのための強力な生成モデルとして登場した。 本稿では,DiTアーキテクチャのモデルに依存しない推論高速化手法であるSmoothCacheを紹介する。 我々の実験は、SmoothCacheが71%のスピードアップを実現し、多様なモダリティをまたいだ生成品質の維持や改善を実現していることを示している。
  論文  参考訳（メタデータ） (2024-11-15T16:24:02Z)
• FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality [58.80996741843102]
  FasterCacheは、高品質な生成を伴うビデオ拡散モデルの推論を高速化するために設計された、トレーニング不要の戦略である。 我々は、FasterCacheがビデオの質をベースラインと同等に保ちながら、ビデオ生成を著しく加速できることを示した。
  論文  参考訳（メタデータ） (2024-10-25T07:24:38Z)
• ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference [41.41316718220569]
  ExpertFlowは、柔軟なルーティングを調整し、CPUとGPU間の効率的な専門家スケジューリングを可能にすることで、推論効率を向上させるように設計されている。 実験により、ExpertFlowは最大93.72%のGPUメモリを節約し、ベースライン法に比べて推論速度を2～10倍に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:54Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
  DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。 DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。 同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
  論文  参考訳（メタデータ） (2023-12-01T17:01:06Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。