論文の概要: Rethinking Losses for Diffusion Bridge Samplers

• arxiv url: http://arxiv.org/abs/2506.10982v1
• Date: Thu, 12 Jun 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.912663
• Title: Rethinking Losses for Diffusion Bridge Samplers
• Title（参考訳）: 拡散ブリッジサンプリングにおける損失の再考
• Authors: Sebastian Sanokowski, Lukas Gruber, Christoph Bartmann, Sepp Hochreiter, Sebastian Lehner,
• Abstract要約: 拡散ブリッジは、正規化されていない分布からサンプリングする深層学習法として有望なクラスである。 最近の研究によると、ログ分散(LV)損失は、逆のKullback-Leibler(rKL)損失よりも一貫して優れていた。 ログデリバティブ・トリック(rKL-LD)を用いたrKL損失は,概念的問題を回避するだけでなく,LV損失を一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 7.598502368949348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion bridges are a promising class of deep-learning methods for sampling from unnormalized distributions. Recent works show that the Log Variance (LV) loss consistently outperforms the reverse Kullback-Leibler (rKL) loss when using the reparametrization trick to compute rKL-gradients. While the on-policy LV loss yields identical gradients to the rKL loss when combined with the log-derivative trick for diffusion samplers with non-learnable forward processes, this equivalence does not hold for diffusion bridges or when diffusion coefficients are learned. Based on this insight we argue that for diffusion bridges the LV loss does not represent an optimization objective that can be motivated like the rKL loss via the data processing inequality. Our analysis shows that employing the rKL loss with the log-derivative trick (rKL-LD) does not only avoid these conceptual problems but also consistently outperforms the LV loss. Experimental results with different types of diffusion bridges on challenging benchmarks show that samplers trained with the rKL-LD loss achieve better performance. From a practical perspective we find that rKL-LD requires significantly less hyperparameter optimization and yields more stable training behavior.
• Abstract（参考訳）: 拡散ブリッジは、正規化されていない分布からサンプリングする深層学習法として有望なクラスである。 最近の研究によると、対数分散(LV)損失は、再パラメータ化トリックを用いてrKL勾配を計算する際に、逆のクルバック・リブラー損失(rKL)よりも一貫して優れていた。 オンラインLV損失は、非学習性前処理による拡散サンプリング器の対数導出トリックと組み合わせると、rKL損失に同じ勾配をもたらすが、この同値性は拡散ブリッジや拡散係数を学習しない。 この知見に基づいて、拡散ブリッジの場合、LV損失は、データ処理の不等式によるrKL損失のようなモチベーションを持つ最適化目標を表すものではないと論じる。 分析の結果,log-deivative trick (rKL-LD) を用いたrKL損失は,これらの概念的問題を回避するだけでなく,LV損失を一貫して上回ることがわかった。 異なる種類の拡散ブリッジを用いた実験結果から,rKL-LD損失をトレーニングしたサンプルが良好な性能を発揮することが示された。 実践的な見地から、rKL-LDはハイパーパラメータ最適化を著しく少なくし、より安定したトレーニング行動をもたらすことが分かる。

関連論文リスト

• ToDi: Token-wise Distillation via Fine-Grained Divergence Control [3.6152232645741025]
  Token-wise Distillation (ToDi) は、Sigmoid-based weighting function を用いてトークンごとのフォワードKLとリバースKLを適応的に結合する新しい方法である。 ToDiは、均一またはより粒度の低い戦略を用いて、最近の蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-22T06:51:16Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Training Neural Samplers with Reverse Diffusive KL Divergence [36.549460449020906]
  非正規化密度関数からサンプルを得るための生成モデルを訓練することは、機械学習において重要かつ困難な課題である。 従来の訓練方法は、そのトラクタビリティのため、逆のKL(Kulback-Leibler)の分岐に依存することが多い。 モデルおよび対象密度の拡散軌跡に沿った逆KLの最小化を提案する。 本手法はボルツマン分布のサンプリング性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-16T11:08:02Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
  機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。 既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。 本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
  論文  参考訳（メタデータ） (2024-02-08T07:14:17Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。