論文の概要: Accelerating Diffusion Transformer via Gradient-Optimized Cache

• arxiv url: http://arxiv.org/abs/2503.05156v1
• Date: Fri, 07 Mar 2025 05:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:56:45.717920
• Title: Accelerating Diffusion Transformer via Gradient-Optimized Cache
• Title（参考訳）: 勾配最適化キャッシュによる拡散変換器の高速化
• Authors: Junxiang Qiu, Lin Liu, Shuo Wang, Jinda Lu, Kezhou Chen, Yanbin Hao,
• Abstract要約: キャッシュされたブロックからのプログレッシブなエラー蓄積は、生成品質を著しく低下させる。 現在のエラー補償アプローチは、キャッシュプロセス中に動的パターンを無視し、最適以下のエラー訂正につながる。 本稿では,2つの重要なイノベーションを取り入れたGradient-lectiond Cache (GOC)を提案する。 GOCはIS 216.28 (26.3%上)とFID 3.907 (43%下)をベースラインのDiTと比較して達成し、計算コストは同じである。
• 参考スコア（独自算出の注目度）: 18.32157920050325
• License:
• Abstract: Feature caching has emerged as an effective strategy to accelerate diffusion transformer (DiT) sampling through temporal feature reuse. It is a challenging problem since (1) Progressive error accumulation from cached blocks significantly degrades generation quality, particularly when over 50\% of blocks are cached; (2) Current error compensation approaches neglect dynamic perturbation patterns during the caching process, leading to suboptimal error correction. To solve these problems, we propose the Gradient-Optimized Cache (GOC) with two key innovations: (1) Cached Gradient Propagation: A gradient queue dynamically computes the gradient differences between cached and recomputed features. These gradients are weighted and propagated to subsequent steps, directly compensating for the approximation errors introduced by caching. (2) Inflection-Aware Optimization: Through statistical analysis of feature variation patterns, we identify critical inflection points where the denoising trajectory changes direction. By aligning gradient updates with these detected phases, we prevent conflicting gradient directions during error correction. Extensive evaluations on ImageNet demonstrate GOC's superior trade-off between efficiency and quality. With 50\% cached blocks, GOC achieves IS 216.28 (26.3\% higher) and FID 3.907 (43\% lower) compared to baseline DiT, while maintaining identical computational costs. These improvements persist across various cache ratios, demonstrating robust adaptability to different acceleration requirements.
• Abstract（参考訳）: 時間的特徴再利用を通じて拡散トランスフォーマー(DiT)サンプリングを高速化するための効果的な戦略として機能キャッシングが登場した。 1) キャッシュされたブロックからの進行的エラー蓄積は、特に50%以上のブロックがキャッシュされている場合、生成品質を著しく低下させ、(2) 電流エラー補償アプローチは、キャッシュプロセス中に動的摂動パターンを無視し、最適以下のエラー訂正をもたらすため、難しい問題である。 これらの問題を解決するために,1)キャッシンググレードエント・プロパゲーション: 勾配キューは,キャッシュされた機能と再計算された機能との勾配差を動的に計算する。 これらの勾配は重み付けされ、その後のステップに伝播し、キャッシュによって導入された近似誤差を直接補償する。 2) 反射-認識最適化: 特徴変動パターンの統計的解析により, 聴覚軌道が方向を変える臨界反射点を同定する。 これらの検出した位相に勾配更新を合わせることで、誤差修正時に矛盾する勾配方向を防止できる。 ImageNetの大規模な評価は、GACが効率と品質のトレードオフに優れていることを示している。 50\%のキャッシュブロックで、GACは同じ計算コストを維持しながら、IS 216.28 (26.3\%) と FID 3.907 (43\%) を達成する。 これらの改善は、様々なキャッシュ比にまたがって続き、異なるアクセラレーション要求に対する堅牢な適応性を示す。

関連論文リスト

• Accelerating Diffusion Transformer via Error-Optimized Cache [17.991719406545876]
  Diffusion Transformer (DiT) はコンテンツ生成の重要な方法である。 既存のキャッシュ手法は、前回のステップからDiT機能を再利用し、次のステップで計算をスキップすることで、生成を加速する。 キャッシュによって引き起こされるエラーを減らさずに、ローエラーモジュールを見つけ、キャッシュする傾向がある。 本稿では,この問題を解決するためにEcoror-d Cache (EOC)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T15:58:15Z)
• Accelerating Diffusion Transformers with Dual Feature Caching [25.36988865752475]
  拡散変換器(DiT)は画像およびビデオ生成において支配的な手法となっているが、依然としてかなりの計算コストを被っている。 DiTアクセラレーションの効果的なアプローチとして、機能キャッシング手法は、以前のタイムステップでDiTの特徴をキャッシュするように設計されている。 以前のタイムステップでキャッシュされたすべての機能を積極的に再利用することで、世代品質が大幅に低下する。
  論文  参考訳（メタデータ） (2024-12-25T14:00:14Z)
• Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
  ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。 本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。 また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
  論文  参考訳（メタデータ） (2024-12-16T13:48:40Z)
• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。