論文の概要: DiffSparse: Accelerating Diffusion Transformers with Learned Token Sparsity
- arxiv url: http://arxiv.org/abs/2604.03674v1
- Date: Sat, 04 Apr 2026 10:16:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.715641
- Title: DiffSparse: Accelerating Diffusion Transformers with Learned Token Sparsity
- Title（参考訳）: DiffSparse: 学習したトークン間隔による拡散変換器の高速化
- Authors: Haowei Zhu, Ji Liu, Ziqiong Liu, Dong Li, Junhai Yong, Bin Wang, Emad Barsoum,
- Abstract要約: 拡散モデルは画像生成において優れた性能を示すが、その多段階推論機構は膨大な計算コストを必要とする。
従来の作業は、計算コストを削減するためにレイヤやトークンキャッシュ技術を活用することで、推論を加速する。
本稿では,トークンキャッシングを利用してトークン計算コストを削減し,高速化を図ることで,拡散トランスフォーマーモデルのための微分可能な層幅最適化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.38554022371326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models demonstrate outstanding performance in image generation, but their multi-step inference mechanism requires immense computational cost. Previous works accelerate inference by leveraging layer or token cache techniques to reduce computational cost. However, these methods fail to achieve superior acceleration performance in few-step diffusion transformer models due to inefficient feature caching strategies, manually designed sparsity allocation, and the practice of retaining complete forward computations in several steps in these token cache methods. To tackle these challenges, we propose a differentiable layer-wise sparsity optimization framework for diffusion transformer models, leveraging token caching to reduce token computation costs and enhance acceleration. Our method optimizes layer-wise sparsity allocation in an end-to-end manner through a learnable network combined with a dynamic programming solver. Additionally, our proposed two-stage training strategy eliminates the need for full-step processing in existing methods, further improving efficiency. We conducted extensive experiments on a range of diffusion-transformer models, including DiT-XL/2, PixArt-$α$, FLUX, and Wan2.1. Across these architectures, our method consistently improves efficiency without degrading sample quality. For example, on PixArt-$α$ with 20 sampling steps, we reduce computational cost by $54\%$ while achieving generation metrics that surpass those of the original model, substantially outperforming prior approaches. These results demonstrate that our method delivers large efficiency gains while often improving generation quality.
- Abstract（参考訳）: 拡散モデルは画像生成において優れた性能を示すが、その多段階推論機構は膨大な計算コストを必要とする。
従来の作業は、計算コストを削減するためにレイヤやトークンキャッシュ技術を活用することで、推論を加速する。
しかし、これらの手法は、非効率な特徴キャッシング戦略、手動設計による空間割当、トークンキャッシュ手法のいくつかのステップにおける完全な前方計算の維持などにより、数ステップの拡散トランスフォーマーモデルにおいて優れた加速性能を達成できない。
これらの課題に対処するために,トークンキャッシングを活用してトークン計算コストを削減し,高速化を図る拡散変圧器モデルの層幅最適化フレームワークを提案する。
本手法は,動的プログラミング解法と組み合わせた学習可能なネットワークを通じて,エンド・ツー・エンド方式でレイヤワイド・スパシティ・アロケーションを最適化する。
さらに,提案する2段階学習戦略により,既存手法のフルステップ処理が不要になり,効率が向上する。
DiT-XL/2, PixArt-$α$, FLUX, Wan2.1を含む拡散変圧器モデルの広範囲にわたる実験を行った。
これらのアーキテクチャ全体で、本手法はサンプルの品質を劣化させることなく、常に効率を向上する。
例えば、20のサンプリングステップを持つPixArt-$α$では、計算コストを5,4\%削減し、元のモデルを超える生成メトリクスを達成し、それ以前のアプローチを大幅に上回っている。
これらの結果から,本手法は生成品質を向上しつつ,高い効率向上をもたらすことが示された。
関連論文リスト
- EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow [52.73538517981873]
EFlowは、ビデオ拡散トランスフォーマーのための効率的な数ステップのトレーニングフレームワークである。
Gated Local-Global Attentionはトークンドロップ可能なハイブリッドブロックである。
Path-Drop Guidedトレーニングは、高価なターゲットを計算的に安価で弱いパスに置き換える。
論文 参考訳（メタデータ） (2026-03-28T02:06:55Z) - EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。
ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。
本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
論文 参考訳（メタデータ） (2025-09-16T03:00:13Z) - Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition [4.0594792247165]
拡散変換器(DiT)モデルは画像生成において顕著な成功を収めた。
Increment-calibrated cache, a training-free method for DiT accelerate。
本手法は45%以上を除去し,0.06 FID増加のコストでISを12倍に改善する。
論文 参考訳（メタデータ） (2025-05-09T06:56:17Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳（メタデータ） (2025-03-09T09:39:57Z) - LazyDiT: Lazy Learning for the Acceleration of Diffusion Transformers [79.07412045476872]
拡散変換器は、様々な生成タスクの優越的なモデルとして登場してきた。
各拡散段階におけるモデル全体の実行は不要であることを示し、いくつかの計算は以前のステップの結果を遅延的に再利用することでスキップできることを示した。
遅延学習フレームワークを提案する。このフレームワークは,初期ステップからキャッシュされた結果を効率よく活用し,冗長な計算を省略する。
論文 参考訳（メタデータ） (2024-12-17T01:12:35Z) - Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。
具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。
提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-12-17T01:09:23Z) - Accelerating Augmentation Invariance Pretraining [7.772780341646099]
我々は、特に視覚変換器(ViT)の事前学習において、対照的な学習手法の計算課題に取り組む。
様々なシーケンス長の入力をまたいで一般化するViTのユニークな能力を生かしたアクセラレーションフレームワークを提案する。
本手法では,ランダム化トークンドロップアウトやフレキシブルパッチスケーリングなどのシーケンス圧縮戦略を併用することにより,勾配推定のコストを低減し,収束を加速する。
論文 参考訳（メタデータ） (2024-10-27T21:53:33Z) - DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。
提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T12:18:24Z) - Diffusion Models as Optimizers for Efficient Planning in Offline RL [47.0835433289033]
拡散モデルはオフラインの強化学習タスクにおいて強い競争力を示している。
本稿では,より高速な自己回帰モデルを提案する。
これにより、能力を犠牲にすることなく、より効率的な計画を達成することができます。
論文 参考訳（メタデータ） (2024-07-23T03:00:01Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。