論文の概要: Ditto: Accelerating Diffusion Model via Temporal Value Similarity
- arxiv url: http://arxiv.org/abs/2501.11211v1
- Date: Mon, 20 Jan 2025 01:03:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:23:45.600425
- Title: Ditto: Accelerating Diffusion Model via Temporal Value Similarity
- Title（参考訳）: Ditto: 時間値類似性による拡散モデルの高速化
- Authors: Sungbin Kim, Hyunwuk Lee, Wonho Cho, Mincheol Park, Won Woo Ro,
- Abstract要約: 量子化と時間的類似性を利用して拡散モデルの効率を向上させる差分処理アルゴリズムを提案する。
また、1.5倍のスピードアップと17.74%の省エネを実現する専用ハードウェアアクセラレータであるDittoハードウェアも設計しています。
- 参考スコア（独自算出の注目度）: 4.5280087047319535
- License:
- Abstract: Diffusion models achieve superior performance in image generation tasks. However, it incurs significant computation overheads due to its iterative structure. To address these overheads, we analyze this iterative structure and observe that adjacent time steps in diffusion models exhibit high value similarity, leading to narrower differences between consecutive time steps. We adapt these characteristics to a quantized diffusion model and reveal that the majority of these differences can be represented with reduced bit-width, and even zero. Based on our observations, we propose the Ditto algorithm, a difference processing algorithm that leverages temporal similarity with quantization to enhance the efficiency of diffusion models. By exploiting the narrower differences and the distributive property of layer operations, it performs full bit-width operations for the initial time step and processes subsequent steps with temporal differences. In addition, Ditto execution flow optimization is designed to mitigate the memory overhead of temporal difference processing, further boosting the efficiency of the Ditto algorithm. We also design the Ditto hardware, a specialized hardware accelerator, fully exploiting the dynamic characteristics of the proposed algorithm. As a result, the Ditto hardware achieves up to 1.5x speedup and 17.74% energy saving compared to other accelerators.
- Abstract（参考訳）: 拡散モデルは画像生成タスクにおいて優れた性能を達成する。
しかし、反復構造のため計算オーバーヘッドが大幅に増大する。
これらのオーバーヘッドに対処するために、この反復構造を解析し、拡散モデルにおける隣接時間ステップが高い値類似性を示し、連続時間ステップ間の差がより狭くなることを観察する。
我々はこれらの特性を量子化拡散モデルに適応させ、これらの差の大部分はビット幅が小さく、ゼロでも表現できることを明らかにする。
本稿では,拡散モデルの効率を高めるために,量子化と時間的類似性を利用する差分処理アルゴリズムであるDittoアルゴリズムを提案する。
層演算の狭い差分と分配特性を利用して、初期時間ステップの完全なビット幅演算を行い、時間差で処理する。
さらに、時間差分処理のメモリオーバーヘッドを軽減するためにDittoの実行フロー最適化を設計し、Dittoアルゴリズムの効率をさらに高める。
また,提案アルゴリズムの動的特性をフル活用したハードウェアアクセラレータであるDittoハードウェアを設計する。
その結果、Dittoのハードウェアは他のアクセラレータと比べて1.5倍のスピードアップと17.74%の省エネを実現している。
関連論文リスト
- Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
Anderson外挿を利用したAI性能向上のための新しい手法を提案する。
混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。
高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
論文 参考訳（メタデータ） (2024-10-25T10:45:17Z) - DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。
提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T12:18:24Z) - Dynamic Diffusion Transformer [67.13876021157887]
Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。
本研究では,動的拡散変換器 (DyDiT) を提案する。
3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
論文 参考訳（メタデータ） (2024-10-04T14:14:28Z) - Faster Diffusion Action Segmentation [9.868244939496678]
時間的行動分類(TAS)はビデオ解析において不可欠な課題であり、連続したフレームを別のアクションセグメントに分割し分類することを目的としている。
拡散モデルの最近の進歩は、安定したトレーニングプロセスと高品質な生成能力により、TASタスクにおいて大きな成功を収めている。
本稿では,効率的かつ高性能なTASアルゴリズムであるEffiDiffActを提案する。
論文 参考訳（メタデータ） (2024-08-04T13:23:18Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳（メタデータ） (2024-03-21T17:52:08Z) - Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。
エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。
我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-12-15T08:46:43Z) - Clockwork Diffusion: Efficient Generation With Model-Step Distillation [42.01130983628078]
クロックワーク拡散(英: Clockwork Diffusion)は、1つ以上のステップで低解像度特徴写像を近似するために、前処理ステップからの計算を定期的に再利用する手法である。
画像生成と画像編集の両方において、Clockworkは計算の複雑さを大幅に減らし、知覚スコアを同等または改善することを示した。
論文 参考訳（メタデータ） (2023-12-13T13:30:27Z) - The Missing U for Efficient Diffusion Models [3.712196074875643]
拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。
それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。
本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
論文 参考訳（メタデータ） (2023-10-31T00:12:14Z) - Towards More Accurate Diffusion Model Acceleration with A Timestep
Aligner [84.97253871387028]
数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。
最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。
実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
論文 参考訳（メタデータ） (2023-10-14T02:19:07Z) - Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。
本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。
次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
論文 参考訳（メタデータ） (2021-09-26T19:56:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。