論文の概要: Seasoning Generative Models for a Generalization Aftertaste

• arxiv url: http://arxiv.org/abs/2603.18817v1
• Date: Thu, 19 Mar 2026 12:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.135327
• Title: Seasoning Generative Models for a Generalization Aftertaste
• Title（参考訳）: 一般化後味の調味料生成モデル
• Authors: Hisham Husain, Valentin De Bortoli, Richard Nock,
• Abstract要約: 改良された生成モデルでは,非精製モデルと比較して,一般化が良好に向上することを示す。 我々の研究は、既存の研究の理論的検証を提供し、新しいアルゴリズムの道を提案するとともに、生成モデル全体の一般化の理解に寄与する。
• 参考スコア（独自算出の注目度）: 32.99427367936986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of discriminators to train or fine-tune generative models has proven to be a rather successful framework. A notable example is Generative Adversarial Networks (GANs) that minimize a loss incurred by training discriminators along with other paradigms that boost generative models via discriminators that satisfy weak learner constraints. More recently, even diffusion models have shown advantages with some kind of discriminator guidance. In this work, we extend a strong-duality result related to $f$-divergences which gives rise to a discriminator-guided recipe that allows us to \textit{refine} any generative model. We then show that the refined generative models provably improve generalization, compared to its non-refined counterpart. In particular, our analysis reveals that the gap in generalization is improved based on the Rademacher complexity of the discriminator set used for refinement. Our recipe subsumes a recently introduced score-based diffusion approach (Kim et al., 2022) that has shown great empirical success, however allows us to shed light on the generalization guarantees of this method by virtue of our analysis. Thus, our work provides a theoretical validation for existing work, suggests avenues for new algorithms, and contributes to our understanding of generalization in generative models at large.
• Abstract（参考訳）: 識別器の訓練や微調整による生成モデルの使用は、かなり成功したフレームワークであることが証明されている。 注目すべき例として、GAN(Generative Adversarial Networks)がある。これは、学習者の制約を弱く満たす差別者を通じて生成モデルを促進する他のパラダイムと同様に、差別者の訓練によって生じる損失を最小限に抑える。 最近では、拡散モデルでさえ、ある種の差別的ガイダンスの利点を示している。 本研究では、$f$-divergences に関連する強い双対結果を拡張し、任意の生成モデルを \textit{refine} できる判別器誘導レシピを生み出す。 次に, 改良された生成モデルにより, 非精製モデルと比較して, 一般化が良好に向上することを示す。 特に, 一般化のギャップは, 精製に用いた判別器集合のラデマッハ複雑性に基づいて改善されている。 提案手法は,最近導入したスコアベース拡散法 (Kim et al , 2022) を仮定し, 実験的な成功を収めた。 このように、我々の研究は既存の研究の理論的検証を提供し、新しいアルゴリズムの道を提案するとともに、生成モデル全体の一般化の理解に寄与する。

関連論文リスト

• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Generative Classifiers Avoid Shortcut Solutions [84.23247217037134]
  分類に対する差別的なアプローチは、しばしば、分配されるが、小さな分布シフトの下で失敗するショートカットを学習する。 生成型分類器は、主にスパイラルな特徴ではなく、コアとスパイラルの両方の全ての特徴をモデル化することでこの問題を回避することができることを示す。 拡散型および自己回帰型生成型分類器は,5つの標準画像およびテキスト分散シフトベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-31T18:31:46Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• Improving Discriminator Guidance in Diffusion Models [43.91753296748528]
  クロスエントロピー損失を用いた判別器の訓練は、一般的に行われるように、モデルと対象分布間のクルバック・リーブラーのばらつきを増大させることができることを示す。 KLの発散を適切に最小化する識別器誘導のための理論的に健全な学習目標を提案する。
  論文  参考訳（メタデータ） (2025-03-20T13:04:43Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Enhancing Text Generation with Cooperative Training [23.971227375706327]
  ほとんどの一般的な方法は、別々に生成的および差別的なモデルを訓練し、互いに変化に適応できなかった。 本稿では,識別器とジェネレータをクローズドループで協調的に学習するテキスト分野におけるテキスト自己一貫性学習フレームワークを提案する。 我々のフレームワークは、モード崩壊や非収束といったトレーニングの不安定さを軽減することができる。
  論文  参考訳（メタデータ） (2023-03-16T04:21:19Z)
• Understanding Why Generalized Reweighting Does Not Improve Over ERM [36.69039005731499]
  経験的リスク最小化(ERM)は、実際にはトレーニングとテスト分布が異なる分布シフトに対して非破壊的であることが知られている。 この問題を解決するために、重み付けや分散ロバスト最適化(DRO)の変種などの一連のアプローチが提案されている。 しかし、近年の一連の研究は、分散シフトを伴う実際のアプリケーションにおいて、これらのアプローチはERMよりも大幅に改善していないことを実証的に示している。
  論文  参考訳（メタデータ） (2022-01-28T17:58:38Z)
• xFAIR: Better Fairness via Model-based Rebalancing of Protected Attributes [15.525314212209564]
  機械学習ソフトウェアは、特定の保護された社会グループに対して不適切な差別を行うモデルを生成することができる。 本稿では,モデルに基づく外挿法であるxFAIRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T22:10:14Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。