論文の概要: Adaptive Guidance: Training-free Acceleration of Conditional Diffusion
Models
- arxiv url: http://arxiv.org/abs/2312.12487v1
- Date: Tue, 19 Dec 2023 17:08:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 18:14:32.171213
- Title: Adaptive Guidance: Training-free Acceleration of Conditional Diffusion
Models
- Title(参考訳): アダプティブガイダンス:条件拡散モデルのトレーニングフリーアクセラレーション
- Authors: Angela Castillo, Jonas Kohler, Juan C. P\'erez, Juan Pablo P\'erez,
Albert Pumarola, Bernard Ghanem, Pablo Arbel\'aez, Ali Thabet
- Abstract要約: 適応誘導 (AG) は計算自由誘導 (CFG) の効率的な変種である
AGはCFGの画質を25%低下させながら保存する。
LinearAG" はベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
- 参考スコア(独自算出の注目度): 44.58960475893552
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents a comprehensive study on the role of Classifier-Free
Guidance (CFG) in text-conditioned diffusion models from the perspective of
inference efficiency. In particular, we relax the default choice of applying
CFG in all diffusion steps and instead search for efficient guidance policies.
We formulate the discovery of such policies in the differentiable Neural
Architecture Search framework. Our findings suggest that the denoising steps
proposed by CFG become increasingly aligned with simple conditional steps,
which renders the extra neural network evaluation of CFG redundant, especially
in the second half of the denoising process. Building upon this insight, we
propose "Adaptive Guidance" (AG), an efficient variant of CFG, that adaptively
omits network evaluations when the denoising process displays convergence. Our
experiments demonstrate that AG preserves CFG's image quality while reducing
computation by 25%. Thus, AG constitutes a plug-and-play alternative to
Guidance Distillation, achieving 50% of the speed-ups of the latter while being
training-free and retaining the capacity to handle negative prompts. Finally,
we uncover further redundancies of CFG in the first half of the diffusion
process, showing that entire neural function evaluations can be replaced by
simple affine transformations of past score estimates. This method, termed
LinearAG, offers even cheaper inference at the cost of deviating from the
baseline model. Our findings provide insights into the efficiency of the
conditional denoising process that contribute to more practical and swift
deployment of text-conditioned diffusion models.
- Abstract(参考訳): 本稿では,テキスト条件付き拡散モデルにおける分類自由誘導(CFG)の役割を推論効率の観点から総合的に検討する。
特に、全ての拡散ステップにCFGを適用するというデフォルトの選択を緩和し、代わりに効率的なガイダンスポリシーを探索する。
我々は、そのようなポリシーの発見を、微分可能なニューラルネットワーク検索フレームワークで定式化する。
以上の結果から,CFGが提案するデノナイジングステップは,特にデノナイジングプロセスの後半において,CFGの余剰ニューラルネットワーク評価を冗長にする単純な条件付きステップと整合する傾向が示唆された。
この知見に基づいて, CFG の効率的な変種である "Adaptive Guidance" (AG) を提案する。
実験の結果,AG は CFG の画質を 25% 削減しながら保存することを示した。
したがって、AGはガイダンス蒸留のプラグアンドプレイ代替品を構成し、トレーニング不要で負のプロンプトを扱う能力を維持しながら、後者のスピードアップの50%を達成している。
最後に、拡散過程の前半におけるcfgのさらなる冗長性を明らかにし、神経機能評価全体を過去の推定値の単純なアフィン変換に置き換えることができることを示した。
この手法はLinearAGと呼ばれ、ベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
本研究は,テキスト条件付き拡散モデルのより実用的かつ迅速な展開に寄与する条件付き弁別プロセスの効率に関する知見を提供する。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - UNIQA: A Unified Framework for Both Full-Reference and No-Reference
Image Quality Assessment [53.895598734070695]
完全参照(FR)と非参照(NR)のIQAのための統一ネットワークを提案する。
入力画像から多レベル特徴を抽出するためにエンコーダを用いる。
FRおよびNR入力のユニバーサルアダプタとして階層自己認識(HSA)モジュールを提案する。
HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。
論文 参考訳(メタデータ) (2023-10-14T11:03:04Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Adaptive and Cascaded Compressive Sensing [10.162966219929887]
シーン依存型適応圧縮センシング(CS)は、CSの性能を大幅に向上させる大きな可能性を秘めている。
そこで本研究では,再構成誤差を直接予測可能な制限等尺特性(RIP)条件に基づく誤差クラッピングを提案する。
また,異なる適応サンプリング段階から得られた情報を効率的に活用できる機能融合再構成ネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-21T07:50:24Z) - A Distributed Optimisation Framework Combining Natural Gradient with
Hessian-Free for Discriminative Sequence Training [16.83036203524611]
本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。
これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。
さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
論文 参考訳(メタデータ) (2021-03-12T22:18:34Z) - Second-order step-size tuning of SGD for non-convex optimization [6.021787236982659]
本稿では,バニラSGDの直接的かつ簡便な改良の観点から,ミニバッチケースのステップサイズを微調整する。
古典的なbarzilai-borwein法のバージョンと見なすことができる新しい一階勾配法(ステップ調整sgd)を得る。
論文 参考訳(メタデータ) (2021-03-05T10:01:48Z) - An Uncertainty-Driven GCN Refinement Strategy for Organ Segmentation [53.425900196763756]
本研究では,不確実性解析とグラフ畳み込みネットワークに基づくセグメンテーション改善手法を提案する。
半教師付きグラフ学習問題を定式化するために、特定の入力ボリュームにおける畳み込みネットワークの不確実性レベルを用いる。
本手法は膵臓で1%,脾臓で2%向上し,最先端のCRF改善法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-06T18:55:07Z) - Unsupervised learning of disentangled representations in deep restricted
kernel machines with orthogonality constraints [15.296955630621566]
Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。
本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
論文 参考訳(メタデータ) (2020-11-25T11:40:10Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳(メタデータ) (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。