論文の概要: Provably Reliable Classifier Guidance via Cross-Entropy Control

• arxiv url: http://arxiv.org/abs/2601.21200v2
• Date: Thu, 05 Feb 2026 06:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.796551
• Title: Provably Reliable Classifier Guidance via Cross-Entropy Control
• Title（参考訳）: クロスエントロピー制御による信頼性の高い分類指導
• Authors: Sharan Sahu, Arisina Banerjee, Yuchen Wu,
• Abstract要約: 拡散モデルの各ステップにおけるクロスエントロピー損失は、対応する誘導誤差を制御するのに十分であることを示す。 その結果,サンプリング誤差ベクトル誘導拡散モデル上界が得られ,逆対数ソボレフ型不等式に類似していることがわかった。
• 参考スコア（独自算出の注目度）: 4.298880233819988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifier-guided diffusion models generate conditional samples by augmenting the reverse-time score with the gradient of the log-probability predicted by a probabilistic classifier. In practice, this classifier is usually obtained by minimizing an empirical loss function. While existing statistical theory guarantees good generalization performance when the sample size is sufficiently large, it remains unclear whether such training yields an effective guidance mechanism. We study this question in the context of cross-entropy loss, which is widely used for classifier training. Under mild smoothness assumptions on the classifier, we show that controlling the cross-entropy at each diffusion model step is sufficient to control the corresponding guidance error. In particular, probabilistic classifiers achieving conditional KL divergence $\varepsilon^2$ induce guidance vectors with mean squared error $\widetilde O(d \varepsilon )$, up to constant and logarithmic factors. Our result yields an upper bound on the sampling error of classifier-guided diffusion models and bears resemblance to a reverse log-Sobolev--type inequality. To the best of our knowledge, this is the first result that quantitatively links classifier training to guidance alignment in diffusion models, providing both a theoretical explanation for the empirical success of classifier guidance, and principled guidelines for selecting classifiers that induce effective guidance.
• Abstract（参考訳）: 分類器誘導拡散モデルでは、確率的分類器によって予測される対数確率の勾配で逆時間スコアを増大させることにより条件付きサンプルを生成する。 実際には、この分類器は通常、経験的損失関数を最小化することによって得られる。 既存の統計理論では、サンプルサイズが十分に大きい場合、良い一般化性能が保証されるが、そのような訓練が効果的な指導機構をもたらすかどうかは不明である。 本稿では, クロスエントロピー損失の文脈において, 分類器訓練に広く用いられている問題について検討する。 分類器上での軽度な滑らかさの仮定では,各拡散モデルステップにおけるクロスエントロピーの制御は,対応する誘導誤差を制御するのに十分であることを示す。 特に、条件付きKL発散を達成できる確率的分類器 $\varepsilon^2$ は平均二乗誤差 $\widetilde O(d \varepsilon )$ の誘導ベクトルを定数および対数因子まで誘導する。 その結果,分類器誘導拡散モデルのサンプリング誤差に上限が与えられ,逆対数ソボレフ型不等式に類似していることがわかった。 我々の知る限り、これは、分類器指導を拡散モデルにおけるガイダンスアライメントに定量的に結びつける最初の結果であり、分類器指導の実証的成功に関する理論的説明と、効果的な指導を誘導する分類器を選択するための原則化されたガイドラインの両方を提供する。

関連論文リスト

• Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective [100.54185280153753]
  分類器なし誘導と分類器なし誘導の両方が,微分拡散軌道を決定境界から遠ざけることによって条件付き生成を実現することがわかった。 本研究では,フローマッチングをベースとした汎用的な後処理ステップを提案し,事前学習した復調拡散モデルに対する学習分布と実データ分布とのギャップを小さくする。
  論文  参考訳（メタデータ） (2025-03-13T17:59:59Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Classifier-Free Diffusion Guidance [17.355749359987648]
  誘導法は条件付き拡散モデルにおけるモードカバレッジとサンプル忠実度をトレードオフする手法として最近導入された。 このような分類器を使わずに、純粋な生成モデルによってガイダンスを実際に実行できることが示される。 結果の条件と非条件のスコアの見積もりを組み合わせることで、サンプルの品質と多様性のトレードオフを達成します。
  論文  参考訳（メタデータ） (2022-07-26T01:42:07Z)
• Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
  Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 条件付き推定は必然的に既約誤差を生じさせることを示す。 経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
  論文  参考訳（メタデータ） (2022-06-21T17:46:35Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Self-adaptive Re-weighted Adversarial Domain Adaptation [12.73753413032972]
  自己適応型再重み付き対向ドメイン適応手法を提案する。 条件分布の観点からドメインアライメントを強化する。 実証的な証拠は、提案されたモデルが標準的なドメイン適応データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-05-30T08:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。