論文の概要: Classifier-Free Guidance is a Predictor-Corrector

• arxiv url: http://arxiv.org/abs/2408.09000v1
• Date: Fri, 16 Aug 2024 20:00:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 23:06:45.896917
• Title: Classifier-Free Guidance is a Predictor-Corrector
• Title（参考訳）: Classifier-Free GuidanceはPredictor-Correctorである
• Authors: Arwen Bradley, Preetum Nakkiran,
• Abstract要約: CFGはテキスト・画像拡散モデルにおける条件付きサンプリングの主要な手法である。 我々は、CFGがDDPMやDDIMと異なる相互作用を示すことで、一般的な誤解を解消する。 SDE の極限では、CFG は実際に条件分布の DDIM 予測器とガンマ動力分布のランゲヴィン力学補正器とを結合していることを証明している。
• 参考スコア（独自算出の注目度）: 8.970133799609041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the theoretical foundations of classifier-free guidance (CFG). CFG is the dominant method of conditional sampling for text-to-image diffusion models, yet unlike other aspects of diffusion, it remains on shaky theoretical footing. In this paper, we disprove common misconceptions, by showing that CFG interacts differently with DDPM (Ho et al., 2020) and DDIM (Song et al., 2021), and neither sampler with CFG generates the gamma-powered distribution $p(x|c)^\gamma p(x)^{1-\gamma}$. Then, we clarify the behavior of CFG by showing that it is a kind of predictor-corrector method (Song et al., 2020) that alternates between denoising and sharpening, which we call predictor-corrector guidance (PCG). We prove that in the SDE limit, CFG is actually equivalent to combining a DDIM predictor for the conditional distribution together with a Langevin dynamics corrector for a gamma-powered distribution (with a carefully chosen gamma). Our work thus provides a lens to theoretically understand CFG by embedding it in a broader design space of principled sampling methods.
• Abstract（参考訳）: 分類器フリーガイダンス(CFG)の理論的基礎について検討する。 CFGはテキスト・画像拡散モデルにおける条件付きサンプリングの主流の手法であるが、他の拡散の側面とは異なり、不安定な理論的な足場に留まっている。 本稿では,CFG が DDPM (Ho et al , 2020) と DDIM (Song et al , 2021) と異なる相互作用を示すこと,および CFG のサンプリング器が γ を用いた分布 $p(x|c)^\gamma p(x)^{1-\gamma}$ を生成できないこと,といった一般的な誤解を解消する。 そこで,我々はCFGの行動を明らかにするために,予測コレクター法(Song et al , 2020)の一種であり,デノイングとシャープニングを交互に行うことを示し,これを予測コレクターガイダンス(PCG)と呼ぶ。 SDE の極限において、CFG は実際に条件分布の DDIM 予測器とガンマ動力分布のランゲヴィン力学補正器(慎重に選択されたガンマ)とを結合するものであることを証明している。 そこで本研究は,CFGを原理的サンプリング手法のより広い設計空間に埋め込むことで,理論的にCFGを理解するためのレンズを提供する。

関連論文リスト

• Nested Annealed Training Scheme for Generative Adversarial Networks [54.70743279423088]
  本稿では、厳密な数学的理論的枠組みである複合機能段階GAN(CFG)に焦点を当てる。 CFGモデルとスコアベースモデルとの理論的関係を明らかにする。 CFG判別器の学習目的は最適D(x)を求めることと等価であることがわかった。
  論文  参考訳（メタデータ） (2025-01-20T07:44:09Z)
• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Score-based generative models are provably robust: an uncertainty quantification perspective [4.396860522241307]
  本研究では,スコアベース生成モデル (SGM) が実運用において複数の誤差源に対して確実に堅牢であることを示す。 我々の主要なツールは、ワッサーシュタイン不確実性伝播(WUP)定理である。 a) 有限サンプル近似による誤差, (b) 早期停止, (c) スコアマッチング対象選択, (d) スコア関数パラメトリゼーション, (e) 基準分布選択が生成モデルの品質に与える影響を示す。
  論文  参考訳（メタデータ） (2024-05-24T17:50:17Z)
• Soft-constrained Schrodinger Bridge: a Stochastic Control Approach [4.922305511803267]
  シュル「オーディンガー橋」は、最適に制御された拡散過程を見つけることを目標とする連続時間制御問題と見なすことができる。 本稿では,両分布間のKulback-Leiblerの相違を罰し,端末分布を目標と異なるものにすることで,この問題を一般化することを提案する。 1つの応用は、堅牢な生成拡散モデルの開発である。
  論文  参考訳（メタデータ） (2024-03-04T04:10:24Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Adaptive Guidance: Training-free Acceleration of Conditional Diffusion Models [44.58960475893552]
  適応誘導 (AG) は計算自由誘導 (CFG) の効率的な変種である AGはCFGの画質を25%低下させながら保存する。 LinearAG" はベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
  論文  参考訳（メタデータ） (2023-12-19T17:08:48Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。