論文の概要: FORA: Fast-Forward Caching in Diffusion Transformer Acceleration

• arxiv url: http://arxiv.org/abs/2407.01425v1
• Date: Mon, 1 Jul 2024 16:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 20:51:04.270797
• Title: FORA: Fast-Forward Caching in Diffusion Transformer Acceleration
• Title（参考訳）: FORA:拡散変圧器加速における高速前方キャッシング
• Authors: Pratheba Selvaraju, Tianyu Ding, Tianyi Chen, Ilya Zharkov, Luming Liang,
• Abstract要約: 拡散変換器(DiT)は、高品質な画像やビデオを生成するための事実上の選択肢となっている。 Fast-FORward Caching (FORA) は拡散過程の反復特性を利用してDiTを加速するように設計されている。
• 参考スコア（独自算出の注目度）: 39.51519525071639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion transformers (DiT) have become the de facto choice for generating high-quality images and videos, largely due to their scalability, which enables the construction of larger models for enhanced performance. However, the increased size of these models leads to higher inference costs, making them less attractive for real-time applications. We present Fast-FORward CAching (FORA), a simple yet effective approach designed to accelerate DiT by exploiting the repetitive nature of the diffusion process. FORA implements a caching mechanism that stores and reuses intermediate outputs from the attention and MLP layers across denoising steps, thereby reducing computational overhead. This approach does not require model retraining and seamlessly integrates with existing transformer-based diffusion models. Experiments show that FORA can speed up diffusion transformers several times over while only minimally affecting performance metrics such as the IS Score and FID. By enabling faster processing with minimal trade-offs in quality, FORA represents a significant advancement in deploying diffusion transformers for real-time applications. Code will be made publicly available at: https://github.com/prathebaselva/FORA.
• Abstract（参考訳）: 拡散変換器(DiT)は,高画質な画像やビデオを生成するためのデファクト選択肢となっている。 しかし、これらのモデルのサイズが大きくなると推論コストが高くなり、リアルタイムアプリケーションでは魅力が低下する。 本稿では拡散過程の反復的性質を利用してDiTを高速化するシンプルなアプローチであるFast-FORward CAching(FORA)を提案する。 FORAはキャッシュ機構を実装しており、注意層とMLP層からの中間出力をデノナイズして再利用することで、計算オーバーヘッドを低減している。 このアプローチはモデルの再訓練を必要とせず、既存のトランスフォーマーベースの拡散モデルとシームレスに統合する。 実験の結果、FORAはISスコアやFIDといったパフォーマンス指標に最小限の影響しか与えず、拡散トランスフォーマーを数回スピードアップできることがわかった。 最小限の品質のトレードオフで高速な処理を可能にすることで、FORAはリアルタイムアプリケーションに分散トランスフォーマーをデプロイする際の大きな進歩を示している。 コードは、https://github.com/prathebaselva/FORA.comで公開される。

関連論文リスト

• Re-Parameterization of Lightweight Transformer for On-Device Speech Emotion Recognition [10.302458835329539]
  軽量トランスフォーマーモデルの性能向上のための新しい手法であるTransformer Re-パラメータ化を導入する。 実験の結果,提案手法は軽量トランスフォーマーの性能を常に改善し,大規模モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-14T10:36:19Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Diffusion-RWKV: Scaling RWKV-Like Architectures for Diffusion Models [33.372947082734946]
  本稿では,NLPで使用されるRWKVモデルに適応した一連のアーキテクチャについて紹介する。 我々のモデルは、追加条件で順序付けされた入力を効率的に処理すると同時に、効果的にスケールアップするように設計されている。 その顕著な利点は空間集約の複雑さの低減であり、高解像度画像の処理に非常に適している。
  論文  参考訳（メタデータ） (2024-04-06T02:54:35Z)
• ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting [70.83632337581034]
  拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。 本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。 本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
  論文  参考訳（メタデータ） (2023-07-23T15:10:02Z)
• Wavelet Diffusion Models are fast and scalable Image Generators [3.222802562733787]
  拡散モデルは高忠実度画像生成のための強力な解であり、多くの状況においてGANを超える。 最近のDiffusionGAN法は、サンプリングステップの数を数千から数に減らして、モデルの実行時間を著しく短縮するが、その速度はGANよりもかなり遅れている。 本稿では,新しいウェーブレット拡散方式を提案することにより,速度ギャップを低減することを目的とする。 我々は、ウェーブレット分解により、画像と特徴レベルの両方から低周波数成分を抽出し、これらの成分を適応的に処理し、良好な生成品質を維持しながら高速に処理する。
  論文  参考訳（メタデータ） (2022-11-29T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。