論文の概要: Exposure Bias Reduction for Enhancing Diffusion Transformer Feature Caching

• arxiv url: http://arxiv.org/abs/2503.07120v1
• Date: Mon, 10 Mar 2025 09:49:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:00.235639
• Title: Exposure Bias Reduction for Enhancing Diffusion Transformer Feature Caching
• Title（参考訳）: 拡散変圧器の特徴キャッシング向上のための露光バイアス低減
• Authors: Zhen Zou, Hu Yu, Jie Xiao, Feng Zhao,
• Abstract要約: Diffusion Transformer (DiT) は優れた生成機能を備えているが、計算複雑性が高いため大きな課題に直面している。 拡散過程のSNRに対するキャッシングの影響を解析する。 非露出バイアスを整合させる共同キャッシュ戦略であるEBキャッシュを導入する。
• 参考スコア（独自算出の注目度）: 7.393824353099595
• License:
• Abstract: Diffusion Transformer (DiT) has exhibited impressive generation capabilities but faces great challenges due to its high computational complexity. To address this problem, various methods, notably feature caching, have been introduced. However, these approaches focus on aligning non-cache diffusion without analyzing the impact of caching on the generation of intermediate processes. So the lack of exploration provides us with room for analysis and improvement. In this paper, we analyze the impact of caching on the SNR of the diffusion process and discern that feature caching intensifies the denoising procedure, and we further identify this as a more severe exposure bias issue. Drawing on this insight, we introduce EB-Cache, a joint cache strategy that aligns the Non-exposure bias (which gives us a higher performance ceiling) diffusion process. Our approach incorporates a comprehensive understanding of caching mechanisms and offers a novel perspective on leveraging caches to expedite diffusion processes. Empirical results indicate that EB-Cache optimizes model performance while concurrently facilitating acceleration. Specifically, in the 50-step generation process, EB-Cache achieves 1.49$\times$ acceleration with 0.63 FID reduction from 3.69, surpassing prior acceleration methods. Code will be available at \href{https://github.com/aSleepyTree/EB-Cache}{https://github.com/aSleepyTree/EB-Cache}.
• Abstract（参考訳）: Diffusion Transformer (DiT) は優れた生成機能を備えているが、計算複雑性が高いため大きな課題に直面している。 この問題に対処するために、様々なメソッド、特にフィーチャーキャッシングが導入されている。 しかし,これらの手法は,キャッシュが中間プロセスの生成に与える影響を解析することなく,非キャッシュ拡散の整合性に重点を置いている。 ですから、調査の欠如は、分析と改善の余地を与えてくれます。 本稿では,キャッシングが拡散過程のSNRに与える影響を分析し,機能キャッシングがデノナイジング手順を強化することを認識し,さらにこれをより深刻な露光バイアス問題として認識する。 この洞察に基づいて、非露光バイアス(より高いパフォーマンスの天井を与える)拡散プロセスを調整する共同キャッシュ戦略であるEBキャッシュを紹介します。 提案手法は,キャッシュ機構の包括的理解を取り入れ,キャッシュを利用した拡散プロセスの高速化に向けた新たな視点を提供する。 実験の結果、EB-Cacheはアクセラレーションを同時に促進しながらモデル性能を最適化することを示している。 具体的には、50ステップの生成プロセスにおいて、EB-Cacheは1.49$\times$Accelerationを達成する。 コードは \href{https://github.com/aSleepyTree/EB-Cache}{https://github.com/aSleepyTree/EB-Cache} で入手できる。

関連論文リスト

• Accelerating Diffusion Transformer via Error-Optimized Cache [17.991719406545876]
  Diffusion Transformer (DiT) はコンテンツ生成の重要な方法である。 既存のキャッシュ手法は、前回のステップからDiT機能を再利用し、次のステップで計算をスキップすることで、生成を加速する。 キャッシュによって引き起こされるエラーを減らさずに、ローエラーモジュールを見つけ、キャッシュする傾向がある。 本稿では,この問題を解決するためにEcoror-d Cache (EOC)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T15:58:15Z)
• FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality [58.80996741843102]
  FasterCacheは、高品質な生成を伴うビデオ拡散モデルの推論を高速化するために設計された、トレーニング不要の戦略である。 我々は、FasterCacheがビデオの質をベースラインと同等に保ちながら、ビデオ生成を著しく加速できることを示した。
  論文  参考訳（メタデータ） (2024-10-25T07:24:38Z)
• ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference [41.41316718220569]
  ExpertFlowは、柔軟なルーティングを調整し、CPUとGPU間の効率的な専門家スケジューリングを可能にすることで、推論効率を向上させるように設計されている。 実験により、ExpertFlowは最大93.72%のGPUメモリを節約し、ベースライン法に比べて推論速度を2～10倍に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:54Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• A Learning-Based Caching Mechanism for Edge Content Delivery [2.412158290827225]
  5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。 このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。 HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
  論文  参考訳（メタデータ） (2024-02-05T08:06:03Z)
• DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
  DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。 DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。 同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
  論文  参考訳（メタデータ） (2023-12-01T17:01:06Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。