論文の概要: Classifier-Free Guidance is a Predictor-Corrector

• arxiv url: http://arxiv.org/abs/2408.09000v2
• Date: Fri, 23 Aug 2024 17:21:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 17:10:58.747753
• Title: Classifier-Free Guidance is a Predictor-Corrector
• Title（参考訳）: Classifier-Free GuidanceはPredictor-Correctorである
• Authors: Arwen Bradley, Preetum Nakkiran,
• Abstract要約: CFGはテキスト・画像拡散モデルにおける条件付きサンプリングの主要な手法である。 我々は、CFGがDDPMやDDIMと異なる相互作用を示すことで、一般的な誤解を解消する。 SDE の極限では、CFG は実際に条件分布の DDIM 予測器とガンマ動力分布のランゲヴィン力学補正器とを結合していることを証明している。
• 参考スコア（独自算出の注目度）: 8.970133799609041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the theoretical foundations of classifier-free guidance (CFG). CFG is the dominant method of conditional sampling for text-to-image diffusion models, yet unlike other aspects of diffusion, it remains on shaky theoretical footing. In this paper, we disprove common misconceptions, by showing that CFG interacts differently with DDPM (Ho et al., 2020) and DDIM (Song et al., 2021), and neither sampler with CFG generates the gamma-powered distribution $p(x|c)^\gamma p(x)^{1-\gamma}$. Then, we clarify the behavior of CFG by showing that it is a kind of predictor-corrector method (Song et al., 2020) that alternates between denoising and sharpening, which we call predictor-corrector guidance (PCG). We prove that in the SDE limit, CFG is actually equivalent to combining a DDIM predictor for the conditional distribution together with a Langevin dynamics corrector for a gamma-powered distribution (with a carefully chosen gamma). Our work thus provides a lens to theoretically understand CFG by embedding it in a broader design space of principled sampling methods.
• Abstract（参考訳）: 分類器フリーガイダンス(CFG)の理論的基礎について検討する。 CFGはテキスト・画像拡散モデルにおける条件付きサンプリングの主流の手法であるが、他の拡散の側面とは異なり、不安定な理論的な足場に留まっている。 本稿では,CFG が DDPM (Ho et al , 2020) と DDIM (Song et al , 2021) と異なる相互作用を示すこと,および CFG のサンプリング器が γ を用いた分布 $p(x|c)^\gamma p(x)^{1-\gamma}$ を生成できないこと,といった一般的な誤解を解消する。 そこで,我々はCFGの行動を明らかにするために,予測コレクター法(Song et al , 2020)の一種であり,デノイングとシャープニングを交互に行うことを示し,これを予測コレクターガイダンス(PCG)と呼ぶ。 SDE の極限において、CFG は実際に条件分布の DDIM 予測器とガンマ動力分布のランゲヴィン力学補正器(慎重に選択されたガンマ)とを結合するものであることを証明している。 そこで本研究は,CFGを原理的サンプリング手法のより広い設計空間に埋め込むことで,理論的にCFGを理解するためのレンズを提供する。

関連論文リスト

• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Score-based generative models are provably robust: an uncertainty quantification perspective [4.396860522241307]
  本研究では,スコアベース生成モデル (SGM) が実運用において複数の誤差源に対して確実に堅牢であることを示す。 我々の主要なツールは、ワッサーシュタイン不確実性伝播(WUP)定理である。 a) 有限サンプル近似による誤差, (b) 早期停止, (c) スコアマッチング対象選択, (d) スコア関数パラメトリゼーション, (e) 基準分布選択が生成モデルの品質に与える影響を示す。
  論文  参考訳（メタデータ） (2024-05-24T17:50:17Z)
• Soft-constrained Schrodinger Bridge: a Stochastic Control Approach [4.922305511803267]
  シュル「オーディンガー橋」は、最適に制御された拡散過程を見つけることを目標とする連続時間制御問題と見なすことができる。 本稿では,両分布間のKulback-Leiblerの相違を罰し,端末分布を目標と異なるものにすることで,この問題を一般化することを提案する。 1つの応用は、堅牢な生成拡散モデルの開発である。
  論文  参考訳（メタデータ） (2024-03-04T04:10:24Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Adaptive Guidance: Training-free Acceleration of Conditional Diffusion Models [44.58960475893552]
  適応誘導 (AG) は計算自由誘導 (CFG) の効率的な変種である AGはCFGの画質を25%低下させながら保存する。 LinearAG" はベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
  論文  参考訳（メタデータ） (2023-12-19T17:08:48Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• A Convenient Infinite Dimensional Framework for Generative Adversarial Learning [4.396860522241306]
  生成的対角学習のための無限次元理論的枠組みを提案する。 本フレームワークでは, 逆学習手順から生成元が誘導する分布とデータ生成分布とのJensen-Shannon分散が0に収束する。
  論文  参考訳（メタデータ） (2020-11-24T13:45:17Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。