論文の概要: CFG-Zero*: Improved Classifier-Free Guidance for Flow Matching Models
- arxiv url: http://arxiv.org/abs/2503.18886v1
- Date: Mon, 24 Mar 2025 16:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:35:24.241410
- Title: CFG-Zero*: Improved Classifier-Free Guidance for Flow Matching Models
- Title（参考訳）: CFG-Zero*:フローマッチングモデルのためのクラシファイアフリーガイダンスの改良
- Authors: Weichen Fan, Amber Yijia Zheng, Raymond A. Yeh, Ziwei Liu,
- Abstract要約: Diffusion-Free Guidance (CFG) は拡散流モデルにおいて画像の忠実度と制御性を改善するために広く採用されている手法である。
そこで, CFG-Zero* を改良した CFG-Zero* を提案する。 (a) 最適化スケール, (a) スカラーを解析的に最適化して推定速度の不正確さを補正し, (b) 名前の * を補正し, (b) ODE ソルバの最初の数ステップをゼロにする 0-init。
- 参考スコア（独自算出の注目度）: 41.36781700386589
- License:
- Abstract: Classifier-Free Guidance (CFG) is a widely adopted technique in diffusion/flow models to improve image fidelity and controllability. In this work, we first analytically study the effect of CFG on flow matching models trained on Gaussian mixtures where the ground-truth flow can be derived. We observe that in the early stages of training, when the flow estimation is inaccurate, CFG directs samples toward incorrect trajectories. Building on this observation, we propose CFG-Zero*, an improved CFG with two contributions: (a) optimized scale, where a scalar is optimized to correct for the inaccuracies in the estimated velocity, hence the * in the name; and (b) zero-init, which involves zeroing out the first few steps of the ODE solver. Experiments on both text-to-image (Lumina-Next, Stable Diffusion 3, and Flux) and text-to-video (Wan-2.1) generation demonstrate that CFG-Zero* consistently outperforms CFG, highlighting its effectiveness in guiding Flow Matching models. (Code is available at github.com/WeichenFan/CFG-Zero-star)
- Abstract（参考訳）: 分類自由誘導(CFG)は拡散流モデルにおいて画像の忠実度と可制御性を改善するために広く採用されている手法である。
本研究は,まず, 直流-直流の導出が可能なガウス混合系上で学習した流れマッチングモデルに対するCFGの影響を解析的に検討する。
トレーニングの初期段階において,フロー推定が不正確な場合,CFGはサンプルを誤った軌道に誘導する。
この観測に基づいてCFG-Zero*を提案する。
a) 最適化されたスケールでは、スカラーが推定速度の不正確さを補正するために最適化され、したがって名前の*が修正される。
b) 0-init は ODE ソルバの最初の数ステップをゼロにする。
テキスト・トゥ・イメージ(Lumina-Next, Stable Diffusion 3, Flux)とテキスト・トゥ・ビデオ(Wan-2.1)の両方での実験では、CFG-Zero*がCFGを一貫して上回っており、フローマッチングモデルを導く上での有効性を強調している。
(github.com/WeichenFan/CFG-Zero-star)
関連論文リスト
- Nested Annealed Training Scheme for Generative Adversarial Networks [54.70743279423088]
本稿では、厳密な数学的理論的枠組みである複合機能段階GAN(CFG)に焦点を当てる。
CFGモデルとスコアベースモデルとの理論的関係を明らかにする。
CFG判別器の学習目的は最適D(x)を求めることと等価であることがわかった。
論文 参考訳（メタデータ） (2025-01-20T07:44:09Z) - Gradient-Free Classifier Guidance for Diffusion Model Sampling [4.450496470631169]
Gradient-free Guidance (GFCG) 法はクラス予測精度を一貫して改善する。
ImageNet 512$times$512では、記録的な$FD_textDINOv2$23.09を達成すると同時に、ATG (90.2%) と比較して高い分類精度 (94.3%) を達成する。
論文 参考訳（メタデータ） (2024-11-23T00:22:21Z) - Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。
本稿では,誘導係数を緩和したReCFGを提案する。
このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
論文 参考訳（メタデータ） (2024-10-24T13:41:32Z) - Eliminating Oversaturation and Artifacts of High Guidance Scales in Diffusion Models [27.640009920058187]
CFG更新ルールを再検討し、この問題に対処するための修正を導入する。
過飽和を伴わない高品質な世代を実現するために並列成分の低重み付けを提案する。
また、この知見に基づいて、CFG更新ルールに対する新しい再スケーリングモーメント手法も導入する。
論文 参考訳（メタデータ） (2024-10-03T12:06:29Z) - CFG++: Manifold-constrained Classifier Free Guidance for Diffusion Models [52.29804282879437]
CFG++は、従来のCFG固有のオフマンドの課題に取り組む新しいアプローチである。
より優れたインバージョン・ツー・イメージ生成、可逆性、ガイダンススケールの縮小、モード崩壊の削減などを提供する。
高次拡散解法に容易に統合でき、自然に蒸留拡散モデルに拡張できる。
論文 参考訳（メタデータ） (2024-06-12T10:40:10Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。
我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
論文 参考訳（メタデータ） (2023-03-07T07:55:52Z) - Parameter-free Locally Accelerated Conditional Gradients [91.19349793915615]
私たちは小説を紹介します。
自由局所加速cg(pf-lacg)アルゴリズムは,厳密な収束保証を提供する。
我々の理論結果は,局所加速度を実証し,非加速アルゴリズムに対するPF-LaCGの実用的改善を示す数値実験によって補完される。
論文 参考訳（メタデータ） (2021-02-12T22:50:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。