論文の概要: Understanding Classifier-Free Guidance: High-Dimensional Theory and Non-Linear Generalizations

• arxiv url: http://arxiv.org/abs/2502.07849v1
• Date: Tue, 11 Feb 2025 10:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:51:07.878937
• Title: Understanding Classifier-Free Guidance: High-Dimensional Theory and Non-Linear Generalizations
• Title（参考訳）: クラシファイアフリーガイダンスの理解:高次元理論と非線形一般化
• Authors: Krunoslav Lehman Pavasovic, Jakob Verbeek, Giulio Biroli, Marc Mezard,
• Abstract要約: 条件自由誘導は, 無限かつ十分に高次元の文脈において, 対象分布を効果的に再現することを示す。 また、オーバーシュートと分散還元を正確に特徴付ける有限次元効果についても検討する。
• 参考スコア（独自算出の注目度）: 22.44946627454133
• License:
• Abstract: Recent studies have raised concerns about the effectiveness of Classifier-Free Guidance (CFG), indicating that in low-dimensional settings, it can lead to overshooting the target distribution and reducing sample diversity. In this work, we demonstrate that in infinite and sufficiently high-dimensional contexts CFG effectively reproduces the target distribution, revealing a blessing-of-dimensionality result. Additionally, we explore finite-dimensional effects, precisely characterizing overshoot and variance reduction. Based on our analysis, we introduce non-linear generalizations of CFG. Through numerical simulations on Gaussian mixtures and experiments on class-conditional and text-to-image diffusion models, we validate our analysis and show that our non-linear CFG offers improved flexibility and generation quality without additional computation cost.
• Abstract（参考訳）: 近年の研究では、分類自由誘導(CFG)の有効性への懸念が高まり、低次元環境では、ターゲット分布のオーバーシュートやサンプルの多様性の低下につながることが示唆されている。 本研究では,無限かつ十分に高次元の文脈において,CFGは対象の分布を効果的に再現し,次元の祝福の結果を示す。 さらに, オーバーシュートと分散低減を正確に特徴付ける有限次元効果について検討する。 本分析に基づき,CFGの非線形一般化を導入する。 ガウス混合系の数値シミュレーションと,クラス条件およびテキスト-画像拡散モデルの実験により,我々の非線形CFGが計算コストを増大させることなく,柔軟性と生成品質を向上できることを示した。

関連論文リスト

• Nested Annealed Training Scheme for Generative Adversarial Networks [54.70743279423088]
  本稿では、厳密な数学的理論的枠組みである複合機能段階GAN(CFG)に焦点を当てる。 CFGモデルとスコアベースモデルとの理論的関係を明らかにする。 CFG判別器の学習目的は最適D(x)を求めることと等価であることがわかった。
  論文  参考訳（メタデータ） (2025-01-20T07:44:09Z)
• A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
  本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。 本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。 判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
  論文  参考訳（メタデータ） (2025-01-20T02:48:07Z)
• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• Causal Graph Discovery from Self and Mutually Exciting Time Series [10.410454851418548]
  我々は,線形プログラムを解くことによって,非漸近的回復保証と定量的不確実性を開発する。 Sepsis Associated Derangements (SAD) による高度に解釈可能な因果DAGの回復におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-01-26T16:15:27Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Causal Graph Discovery from Self and Mutually Exciting Time Series [12.802653884445132]
  我々は,線形プログラムを解くことによって,非漸近的回復保証と定量的不確実性を開発する。 Sepsis Associated Derangements (SAD) による高度に解釈可能な因果DAGの回復におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-04T16:59:24Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。