論文の概要: Towards Understanding the Mechanisms of Classifier-Free Guidance

• arxiv url: http://arxiv.org/abs/2505.19210v1
• Date: Sun, 25 May 2025 16:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.980848
• Title: Towards Understanding the Mechanisms of Classifier-Free Guidance
• Title（参考訳）: クラシファイアフリーガイダンスのメカニズムの解明に向けて
• Authors: Xiang Li, Rongrong Wang, Qing Qu,
• Abstract要約: 線形自由誘導(CFG)は3つの異なるコンポーネントによって生成品質を向上させることを示す。 次に、実世界の非線形拡散モデルにおけるこれらの知見を検証する。 最終的に両者は低騒音レベルで分岐するが、線形解析から得られる洞察が、非線形状態におけるCFGのメカニズムにどのように光を当てるかを議論する。
• 参考スコア（独自算出の注目度）: 12.901833479772908
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Classifier-free guidance (CFG) is a core technique powering state-of-the-art image generation systems, yet its underlying mechanisms remain poorly understood. In this work, we begin by analyzing CFG in a simplified linear diffusion model, where we show its behavior closely resembles that observed in the nonlinear case. Our analysis reveals that linear CFG improves generation quality via three distinct components: (i) a mean-shift term that approximately steers samples in the direction of class means, (ii) a positive Contrastive Principal Components (CPC) term that amplifies class-specific features, and (iii) a negative CPC term that suppresses generic features prevalent in unconditional data. We then verify that these insights in real-world, nonlinear diffusion models: over a broad range of noise levels, linear CFG resembles the behavior of its nonlinear counterpart. Although the two eventually diverge at low noise levels, we discuss how the insights from the linear analysis still shed light on the CFG's mechanism in the nonlinear regime.
• Abstract（参考訳）: 分類器フリーガイダンス(CFG)は最先端の画像生成システムを支えるコア技術であるが、その基盤となるメカニズムはよく分かっていない。 本研究では, 単純線形拡散モデルを用いてCFGを解析し, 非線形の場合とよく似た挙動を示す。 解析の結果,線形CFGは3つの異なる成分によって生成品質を向上させることが明らかとなった。 一 平均シフトの語で、約定員がクラスの方向を向いていること。 (ii)クラス固有の特徴を増幅する正の競合主成分(CPC)用語及び (iii)非条件データによく見られる一般的な特徴を抑える負のCPC項。 次に、実世界の非線形拡散モデルにおけるこれらの知見が、幅広いノイズレベルにおいて、線形CFGはその非線形拡散モデルの挙動に類似していることを検証する。 最終的に両者は低騒音レベルで分岐するが、線形解析から得られる洞察が、非線形状態におけるCFGのメカニズムにどのように光を当てるかを議論する。

関連論文リスト

• Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
  収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。 しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。 本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
  論文  参考訳（メタデータ） (2025-04-23T21:27:32Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Classifier-Free Guidance: From High-Dimensional Analysis to Generalized Guidance Forms [22.44946627454133]
  CFGは十分に高次元かつ無限次元のターゲット分布を正確に再現することを示す。 我々は、この性質、特に非線形CFG一般化を享受するガイダンスが多数存在することを示す。 本研究は,最先端拡散モデルとフローマッチングモデルを用いて,クラス条件とテキスト・ツー・イメージ生成の実験により検証した。
  論文  参考訳（メタデータ） (2025-02-11T10:29:29Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks [20.362912591032636]
  本稿では,GANをカーネルベース判別器で訓練するための勾配降下度(GDA)の局所的ダイナミクスについて検討する。 システムがいつ収束するか、振動するか、あるいは分岐するかを示す相転移を示す。
  論文  参考訳（メタデータ） (2023-05-14T23:23:08Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series [0.0]
  非線形独立成分分析と隠れマルコフモデルを組み合わせる方法について述べる。 ニューラルネットワークのような一般の混合非線形性に対するモデルの有効性を実証する。 我々は、教師なし、より効率的で、基礎となる時間力学をモデル化できる新しい非線形ICAフレームワークを実現する。
  論文  参考訳（メタデータ） (2020-06-22T10:01:15Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。