論文の概要: DeeDiff: Dynamic Uncertainty-Aware Early Exiting for Accelerating
Diffusion Model Generation
- arxiv url: http://arxiv.org/abs/2309.17074v1
- Date: Fri, 29 Sep 2023 09:10:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 14:58:07.469279
- Title: DeeDiff: Dynamic Uncertainty-Aware Early Exiting for Accelerating
Diffusion Model Generation
- Title（参考訳）: DeeDiff: 高速拡散モデル生成のための動的不確実性認識早期実行
- Authors: Shengkun Tang, Yaqing Wang, Caiwen Ding, Yi Liang, Yao Li, Dongkuan Xu
- Abstract要約: DeeDiffは、拡散モデルの生成効率を改善するために、各サンプリングステップで計算リソースを適応的に割り当てる早期終了フレームワークである。
本稿では,モデル全体の性能ギャップを埋めるため,不確実性を考慮したレイヤワイズ損失を提案する。
本手法は,拡散モデルにおける既存の早期出口法と比較して,最先端の性能と効率のトレードオフを実現する。
- 参考スコア（独自算出の注目度）: 34.7016118539358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models achieve great success in generating diverse and
high-fidelity images. The performance improvements come with low generation
speed per image, which hinders the application diffusion models in real-time
scenarios. While some certain predictions benefit from the full computation of
the model in each sample iteration, not every iteration requires the same
amount of computation, potentially leading to computation waste. In this work,
we propose DeeDiff, an early exiting framework that adaptively allocates
computation resources in each sampling step to improve the generation
efficiency of diffusion models. Specifically, we introduce a timestep-aware
uncertainty estimation module (UEM) for diffusion models which is attached to
each intermediate layer to estimate the prediction uncertainty of each layer.
The uncertainty is regarded as the signal to decide if the inference
terminates. Moreover, we propose uncertainty-aware layer-wise loss to fill the
performance gap between full models and early-exited models. With such loss
strategy, our model is able to obtain comparable results as full-layer models.
Extensive experiments of class-conditional, unconditional, and text-guided
generation on several datasets show that our method achieves state-of-the-art
performance and efficiency trade-off compared with existing early exiting
methods on diffusion models. More importantly, our method even brings extra
benefits to baseline models and obtains better performance on CIFAR-10 and
Celeb-A datasets. Full code and model are released for reproduction.
- Abstract（参考訳）: 拡散モデルは多様で高忠実な画像を生成することに成功している。
パフォーマンス改善は、画像ごとの生成速度が低くなることで、リアルタイムシナリオでのアプリケーションの拡散モデルを妨げる。
いくつかの特定の予測は、各サンプルイテレーションにおけるモデルの完全な計算の恩恵を受けるが、全てのイテレーションが同じ量の計算を必要とするわけではない。
本研究では,拡散モデルの生成効率を向上させるために,各サンプリングステップで計算資源を適応的に割り当てる早期終了フレームワークであるDeeDiffを提案する。
具体的には,各中間層に付加した拡散モデルに対する時間ステップ認識不確かさ推定モジュール(uem)を導入し,各層の予測不確かさを推定する。
不確実性は推論が終了するかどうかを決定する信号と見なされる。
さらに,完全モデルと初期出力モデルの性能ギャップを埋めるために,不確実性を考慮した層間損失を提案する。
このような損失戦略により,本モデルは全層モデルと同等の結果を得ることができる。
いくつかのデータセットにおけるクラス条件,無条件,およびテキスト誘導生成の大規模な実験により,本手法は拡散モデルにおける既存の早期終了法と比較して,最先端の性能と効率のトレードオフを達成することが示された。
さらに重要なこととして,本手法はベースラインモデルにさらなるメリットをもたらし,CIFAR-10とCeleb-Aデータセットの性能向上を実現している。
完全なコードとモデルは複製のためにリリースされます。
関連論文リスト
- A deep neural network framework for dynamic multi-valued mapping estimation and its applications [3.21704928672212]
本稿では、生成ネットワークと分類コンポーネントを組み込んだディープニューラルネットワークフレームワークを提案する。
本研究の目的は、信頼性の高い不確実性測定を提供することにより、入力と出力の間の動的多値写像をモデル化することである。
実験結果から,不確実性を考慮した動的多値写像を精度良く推定できることが示唆された。
論文 参考訳（メタデータ） (2024-06-29T03:26:51Z) - Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。
それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。
モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-31T08:19:44Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models [40.5153344875351]
我々はTMPQ-DMを導入し、タイムステップの削減と量子化を共同で最適化し、優れた性能・効率のトレードオフを実現する。
時間段階の削減のために、デノナイジング過程の非一様性に合わせた非一様グルーピングスキームを考案する。
量子化の観点では、最終的な生成性能に対するそれぞれの貢献に基づいて、異なる層に異なるビット幅を割り当てる、きめ細かいレイヤーワイズアプローチを採用する。
論文 参考訳（メタデータ） (2024-04-15T07:51:40Z) - Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳（メタデータ） (2023-12-20T03:32:58Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Latent Autoregressive Source Separation [5.871054749661012]
本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。
分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
論文 参考訳（メタデータ） (2023-01-09T17:32:00Z) - Image Generation with Multimodal Priors using Denoising Diffusion
Probabilistic Models [54.1843419649895]
このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。
本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
論文 参考訳（メタデータ） (2022-06-10T12:23:05Z) - Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via
Online High-Confidence Change-Point Detection [7.685002911021767]
非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。
これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。
i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
論文 参考訳（メタデータ） (2021-05-20T01:57:52Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。