論文の概要: Towards Understanding the Mechanisms of Classifier-Free Guidance

• arxiv url: http://arxiv.org/abs/2505.19210v1
• Date: Sun, 25 May 2025 16:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.980848
• Title: Towards Understanding the Mechanisms of Classifier-Free Guidance
• Title（参考訳）: クラシファイアフリーガイダンスのメカニズムの解明に向けて
• Authors: Xiang Li, Rongrong Wang, Qing Qu,
• Abstract要約: 線形自由誘導(CFG)は3つの異なるコンポーネントによって生成品質を向上させることを示す。 次に、実世界の非線形拡散モデルにおけるこれらの知見を検証する。 最終的に両者は低騒音レベルで分岐するが、線形解析から得られる洞察が、非線形状態におけるCFGのメカニズムにどのように光を当てるかを議論する。
• 参考スコア（独自算出の注目度）: 12.901833479772908
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Classifier-free guidance (CFG) is a core technique powering state-of-the-art image generation systems, yet its underlying mechanisms remain poorly understood. In this work, we begin by analyzing CFG in a simplified linear diffusion model, where we show its behavior closely resembles that observed in the nonlinear case. Our analysis reveals that linear CFG improves generation quality via three distinct components: (i) a mean-shift term that approximately steers samples in the direction of class means, (ii) a positive Contrastive Principal Components (CPC) term that amplifies class-specific features, and (iii) a negative CPC term that suppresses generic features prevalent in unconditional data. We then verify that these insights in real-world, nonlinear diffusion models: over a broad range of noise levels, linear CFG resembles the behavior of its nonlinear counterpart. Although the two eventually diverge at low noise levels, we discuss how the insights from the linear analysis still shed light on the CFG's mechanism in the nonlinear regime.
• Abstract（参考訳）: 分類器フリーガイダンス(CFG)は最先端の画像生成システムを支えるコア技術であるが、その基盤となるメカニズムはよく分かっていない。 本研究では, 単純線形拡散モデルを用いてCFGを解析し, 非線形の場合とよく似た挙動を示す。 解析の結果,線形CFGは3つの異なる成分によって生成品質を向上させることが明らかとなった。 一 平均シフトの語で、約定員がクラスの方向を向いていること。 (ii)クラス固有の特徴を増幅する正の競合主成分(CPC)用語及び (iii)非条件データによく見られる一般的な特徴を抑える負のCPC項。 次に、実世界の非線形拡散モデルにおけるこれらの知見が、幅広いノイズレベルにおいて、線形CFGはその非線形拡散モデルの挙動に類似していることを検証する。 最終的に両者は低騒音レベルで分岐するが、線形解析から得られる洞察が、非線形状態におけるCFGのメカニズムにどのように光を当てるかを議論する。

関連論文リスト

• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• Latent Causal Diffusions for Single-Cell Perturbation Modeling [83.47931153555321]
  測定ノイズ下で観察された定常拡散過程として単細胞遺伝子発現をフレーム化する生成モデルを提案する。 LCDはシングルセルRNAシークエンシングスクリーンにおいて、目に見えない摂動の組み合わせの分布変化を予測するために確立されたアプローチより優れていた。 我々は、摂動応答(CLIPR)を介して因果線形化と呼ばれるアプローチを開発し、全ての遺伝子間の直接的な因果効果を近似する。
  論文  参考訳（メタデータ） (2026-01-20T16:15:38Z)
• Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics [29.85277126753054]
  クロスエントロピー(CE)損失はディープラーニングを支配しているが、既存の理論はしばしば単純化に依存している。 標準的なニューラルネットワークベクトルを持つ標準ネットワークの詳細な特徴付けを行う。
  論文  参考訳（メタデータ） (2025-12-03T17:45:09Z)
• Interpretable neural network system identification method for two families of second-order systems based on characteristic curves [0.0]
  我々は、微分方程式の数学的構造とニューラルネットワーク(NN)の柔軟性を組み合わせた統合されたデータ駆動フレームワークを提案する。 我々のアプローチの核となるのは、個々の非線形関数を表す特性曲線(CC)の概念である。 CCに基づく形式主義の汎用性を実証するために,3つの識別戦略を導入する。
  論文  参考訳（メタデータ） (2025-09-12T18:32:02Z)
• Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
  収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。 しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。 本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
  論文  参考訳（メタデータ） (2025-04-23T21:27:32Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Classifier-Free Guidance: From High-Dimensional Analysis to Generalized Guidance Forms [22.44946627454133]
  CFGは十分に高次元かつ無限次元のターゲット分布を正確に再現することを示す。 我々は、この性質、特に非線形CFG一般化を享受するガイダンスが多数存在することを示す。 本研究は,最先端拡散モデルとフローマッチングモデルを用いて,クラス条件とテキスト・ツー・イメージ生成の実験により検証した。
  論文  参考訳（メタデータ） (2025-02-11T10:29:29Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks [20.362912591032636]
  本稿では,GANをカーネルベース判別器で訓練するための勾配降下度(GDA)の局所的ダイナミクスについて検討する。 システムがいつ収束するか、振動するか、あるいは分岐するかを示す相転移を示す。
  論文  参考訳（メタデータ） (2023-05-14T23:23:08Z)
• A Data-Driven Approach for Linear and Nonlinear Damage Detection Using Variational Mode Decomposition and GARCH Model [13.183011809131235]
  信号処理と特徴抽出のための変分モード分解(VMD)と一般化された自己回帰条件不整合性(GARCH)モデルをデプロイする。 提案手法の性能を線形および非線形損傷評価の2つの実験モデルで評価した。
  論文  参考訳（メタデータ） (2021-11-16T17:01:26Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series [0.0]
  非線形独立成分分析と隠れマルコフモデルを組み合わせる方法について述べる。 ニューラルネットワークのような一般の混合非線形性に対するモデルの有効性を実証する。 我々は、教師なし、より効率的で、基礎となる時間力学をモデル化できる新しい非線形ICAフレームワークを実現する。
  論文  参考訳（メタデータ） (2020-06-22T10:01:15Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。