論文の概要: Plug-and-Play Fidelity Optimization for Diffusion Transformer Acceleration via Cumulative Error Minimization
- arxiv url: http://arxiv.org/abs/2512.23258v1
- Date: Mon, 29 Dec 2025 07:36:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.430193
- Title: Plug-and-Play Fidelity Optimization for Diffusion Transformer Acceleration via Cumulative Error Minimization
- Title（参考訳）: 累積誤差最小化による拡散変圧器高速化のためのプラグ・アンド・プレイ忠実度最適化
- Authors: Tong Shao, Yusen Fu, Guoying Sun, Jingde Kong, Zhuotao Tian, Jingyong Su,
- Abstract要約: キャッシュベースの手法は、かなりの計算誤差に悩まされながら、トレーニング不要な加速を実現する。
既存の手法では、プルーニングや予測などのエラー訂正戦略を取り入れて緩和するのが一般的である。
本稿では,CEM と呼ばれる累積誤差最小化による既存の誤り訂正手法のための新しい忠実度最適化プラグインを提案する。
- 参考スコア（独自算出の注目度）: 26.687056294842083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Diffusion Transformer (DiT) has emerged as a predominant architecture for image and video generation, its iterative denoising process results in slow inference, which hinders broader applicability and development. Caching-based methods achieve training-free acceleration, while suffering from considerable computational error. Existing methods typically incorporate error correction strategies such as pruning or prediction to mitigate it. However, their fixed caching strategy fails to adapt to the complex error variations during denoising, which limits the full potential of error correction. To tackle this challenge, we propose a novel fidelity-optimization plugin for existing error correction methods via cumulative error minimization, named CEM. CEM predefines the error to characterize the sensitivity of model to acceleration jointly influenced by timesteps and cache intervals. Guided by this prior, we formulate a dynamic programming algorithm with cumulative error approximation for strategy optimization, which achieves the caching error minimization, resulting in a substantial improvement in generation fidelity. CEM is model-agnostic and exhibits strong generalization, which is adaptable to arbitrary acceleration budgets. It can be seamlessly integrated into existing error correction frameworks and quantized models without introducing any additional computational overhead. Extensive experiments conducted on nine generation models and quantized methods across three tasks demonstrate that CEM significantly improves generation fidelity of existing acceleration models, and outperforms the original generation performance on FLUX.1-dev, PixArt-$α$, StableDiffusion1.5 and Hunyuan. The code will be made publicly available.
- Abstract（参考訳）: Diffusion Transformer (DiT) は画像生成とビデオ生成の主要なアーキテクチャとして登場したが、反復的なデノナイジングプロセスによって推論が遅くなり、より広範な適用性と開発が妨げられる。
キャッシュベースの手法は、かなりの計算誤差に悩まされながら、トレーニング不要な加速を実現する。
既存の手法では、プルーニングや予測などのエラー訂正戦略を取り入れて緩和するのが一般的である。
しかし、それらの固定キャッシング戦略は、デノナイズ中の複雑なエラー変動に対応できず、エラー訂正の完全な可能性を制限する。
この課題に対処するため,CEMと呼ばれる累積誤差最小化による既存の誤り訂正手法のための新しい忠実度最適化プラグインを提案する。
CEMは、タイムステップとキャッシュ間隔の影響を受けるアクセラレーションに対するモデルの感度を特徴付けるエラーを事前に定義する。
キャッシュエラーの最小化を実現する戦略最適化の累積誤差近似を用いて動的プログラミングアルゴリズムを定式化することにより,生成精度を大幅に向上する。
CEMはモデルに依存しず、強い一般化を示し、任意の加速予算に適応できる。
新たな計算オーバーヘッドを導入することなく、既存のエラー修正フレームワークや量子化モデルにシームレスに統合することができる。
9つの世代モデルと3つのタスクにわたる量子化手法による大規模な実験により、CEMは既存の加速モデルの生成精度を著しく改善し、FLUX.1-dev、PixArt-$α$、StableDiffusion1.5、Hunyuanで元の世代性能を上回った。
コードは公開されます。
関連論文リスト
- Test-Time Iterative Error Correction for Efficient Diffusion Models [16.300409397814192]
反復誤差補正(英: Iterative Error Correction)は、モデル出力を反復的に精算することで、推論時のエラーを軽減するテスト時間法である。
さまざまなデータセット、効率技術、モデルアーキテクチャにわたる生成品質を一貫して改善する。
論文 参考訳（メタデータ） (2025-11-09T06:29:22Z) - ETC: training-free diffusion models acceleration with Error-aware Trend Consistency [46.40478218579471]
モデル出力の再利用による拡散過程の促進
これらの手法は傾向を無視し、モデル固有の寛容性に対する誤り制御を欠いている。
拡散軌道の滑らかな連続性を利用するフレームワークであるETC(Error-aware Trend Consistency)を紹介する。
ETCはFLUXよりも2.65倍の加速を実現し、一貫性の劣化は無視できる。
論文 参考訳（メタデータ） (2025-10-28T07:08:09Z) - Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。
本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。
拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
論文 参考訳（メタデータ） (2025-08-13T17:33:37Z) - Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition [4.0594792247165]
拡散変換器(DiT)モデルは画像生成において顕著な成功を収めた。
Increment-calibrated cache, a training-free method for DiT accelerate。
本手法は45%以上を除去し,0.06 FID増加のコストでISを12倍に改善する。
論文 参考訳（メタデータ） (2025-05-09T06:56:17Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳（メタデータ） (2025-03-09T09:39:57Z) - Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。
tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-02-04T21:21:30Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。