論文の概要: Rethinking Losses for Diffusion Bridge Samplers

• arxiv url: http://arxiv.org/abs/2506.10982v1
• Date: Thu, 12 Jun 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.912663
• Title: Rethinking Losses for Diffusion Bridge Samplers
• Title（参考訳）: 拡散ブリッジサンプリングにおける損失の再考
• Authors: Sebastian Sanokowski, Lukas Gruber, Christoph Bartmann, Sepp Hochreiter, Sebastian Lehner,
• Abstract要約: 拡散ブリッジは、正規化されていない分布からサンプリングする深層学習法として有望なクラスである。 最近の研究によると、ログ分散(LV)損失は、逆のKullback-Leibler(rKL)損失よりも一貫して優れていた。 ログデリバティブ・トリック(rKL-LD)を用いたrKL損失は,概念的問題を回避するだけでなく,LV損失を一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 7.598502368949348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion bridges are a promising class of deep-learning methods for sampling from unnormalized distributions. Recent works show that the Log Variance (LV) loss consistently outperforms the reverse Kullback-Leibler (rKL) loss when using the reparametrization trick to compute rKL-gradients. While the on-policy LV loss yields identical gradients to the rKL loss when combined with the log-derivative trick for diffusion samplers with non-learnable forward processes, this equivalence does not hold for diffusion bridges or when diffusion coefficients are learned. Based on this insight we argue that for diffusion bridges the LV loss does not represent an optimization objective that can be motivated like the rKL loss via the data processing inequality. Our analysis shows that employing the rKL loss with the log-derivative trick (rKL-LD) does not only avoid these conceptual problems but also consistently outperforms the LV loss. Experimental results with different types of diffusion bridges on challenging benchmarks show that samplers trained with the rKL-LD loss achieve better performance. From a practical perspective we find that rKL-LD requires significantly less hyperparameter optimization and yields more stable training behavior.
• Abstract（参考訳）: 拡散ブリッジは、正規化されていない分布からサンプリングする深層学習法として有望なクラスである。 最近の研究によると、対数分散(LV)損失は、再パラメータ化トリックを用いてrKL勾配を計算する際に、逆のクルバック・リブラー損失(rKL)よりも一貫して優れていた。 オンラインLV損失は、非学習性前処理による拡散サンプリング器の対数導出トリックと組み合わせると、rKL損失に同じ勾配をもたらすが、この同値性は拡散ブリッジや拡散係数を学習しない。 この知見に基づいて、拡散ブリッジの場合、LV損失は、データ処理の不等式によるrKL損失のようなモチベーションを持つ最適化目標を表すものではないと論じる。 分析の結果,log-deivative trick (rKL-LD) を用いたrKL損失は,これらの概念的問題を回避するだけでなく,LV損失を一貫して上回ることがわかった。 異なる種類の拡散ブリッジを用いた実験結果から,rKL-LD損失をトレーニングしたサンプルが良好な性能を発揮することが示された。 実践的な見地から、rKL-LDはハイパーパラメータ最適化を著しく少なくし、より安定したトレーニング行動をもたらすことが分かる。

関連論文リスト

• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
  機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。 既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。 本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
  論文  参考訳（メタデータ） (2024-02-08T07:14:17Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。