論文の概要: Improving Discriminator Guidance in Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.16117v1
• Date: Thu, 20 Mar 2025 13:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:46.173400
• Title: Improving Discriminator Guidance in Diffusion Models
• Title（参考訳）: 拡散モデルにおける識別器誘導の改善
• Authors: Alexandre Verine, Mehdi Inane, Florian Le Bronnec, Benjamin Negrevergne, Yann Chevaleyre,
• Abstract要約: クロスエントロピー損失を用いた判別器の訓練は、一般的に行われるように、モデルと対象分布間のクルバック・リーブラーのばらつきを増大させることができることを示す。 KLの発散を適切に最小化する識別器誘導のための理論的に健全な学習目標を提案する。
• 参考スコア（独自算出の注目度）: 43.91753296748528
• License:
• Abstract: Discriminator Guidance has become a popular method for efficiently refining pre-trained Score-Matching Diffusion models. However, in this paper, we demonstrate that the standard implementation of this technique does not necessarily lead to a distribution closer to the real data distribution. Specifically, we show that training the discriminator using Cross-Entropy loss, as commonly done, can in fact increase the Kullback-Leibler divergence between the model and target distributions, particularly when the discriminator overfits. To address this, we propose a theoretically sound training objective for discriminator guidance that properly minimizes the KL divergence. We analyze its properties and demonstrate empirically across multiple datasets that our proposed method consistently improves over the conventional method by producing samples of higher quality.
• Abstract（参考訳）: 判別器誘導は,事前学習したスコアマッチング拡散モデルを効率的に精錬するための一般的な手法となっている。 しかし,本研究では,本手法の標準実装が実際のデータ分布に近い分布に必ずしも至らないことを実証する。 具体的には、クロスエントロピー損失を用いた判別器の訓練は、特に判別器が過度に適合した場合、実際にモデルと対象分布間のクルバック・リブラーのばらつきを増大させることができることを示す。 そこで本研究では,KLの発散を適切に最小化する識別器誘導のための理論的に健全な学習目標を提案する。 提案手法は, 従来手法よりも高い品質のサンプルを生成することにより, 従来手法よりも常に改善されていることを実証的に示す。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Discriminator Guidance for Autoregressive Diffusion Models [12.139222986297264]
  本稿では,自己回帰拡散モデルの設定において差別的ガイダンスを導入する。 判別器と事前学習した生成モデルとを個別のケースで併用する方法を導出する。
  論文  参考訳（メタデータ） (2023-10-24T13:14:22Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Exploring Dropout Discriminator for Domain Adaptation [27.19677042654432]
  新しいドメインへの分類器の適応は、機械学習における難しい問題の1つである。 本稿では, サンプル分布の分散を徐々に増大させるカリキュラムベースのドロップアウト判別器を提案する。 識別器のアンサンブルは、モデルがデータ分散を効率的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-07-09T06:11:34Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。