論文の概要: Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser

• arxiv url: http://arxiv.org/abs/2602.12229v1
• Date: Thu, 12 Feb 2026 18:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.972621
• Title: Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser
• Title（参考訳）: KLを超える拡散アライメント-効果的な政策最適化としての変動最小化
• Abstract要約: 可変最小化政策最適化(VMPO)について紹介する。 VMPOは、ログの重みの分散を最小限に抑えるために拡散アライメントを定式化する。 ポテンシャル関数と分散最小化戦略の異なる選択の下で、VMPOは様々な既存メソッドを復元する。
• 参考スコア（独自算出の注目度）: 35.260598916253635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion alignment adapts pretrained diffusion models to sample from reward-tilted distributions along the denoising trajectory. This process naturally admits a Sequential Monte Carlo (SMC) interpretation, where the denoising model acts as a proposal and reward guidance induces importance weights. Motivated by this view, we introduce Variance Minimisation Policy Optimisation (VMPO), which formulates diffusion alignment as minimising the variance of log importance weights rather than directly optimising a Kullback-Leibler (KL) based objective. We prove that the variance objective is minimised by the reward-tilted target distribution and that, under on-policy sampling, its gradient coincides with that of standard KL-based alignment. This perspective offers a common lens for understanding diffusion alignment. Under different choices of potential functions and variance minimisation strategies, VMPO recovers various existing methods, while also suggesting new design directions beyond KL.
• Abstract（参考訳）: 拡散アライメントは、denoising trajectoryに沿った報奨型分布のサンプルに事前訓練された拡散モデルを適用する。 このプロセスは、シークエンシャルモンテカルロ (SMC) の解釈を自然に認めており、そこではデノナイジングモデルが提案として機能し、報酬誘導が重み付けを誘導する。 この観点から得られた変数最小化政策最適化(VMPO)は,KL(Kulback-Leibler)に基づく目的を直接最適化するのではなく,ログ重みの分散を最小化する拡散アライメントを定式化する。 報奨型目標分布によって分散目標が最小化されることを実証し, オンラインサンプリングにおいて, その勾配は標準KLベースのアライメントと一致することを証明した。 この視点は拡散アライメントを理解するための共通のレンズを提供する。 ポテンシャル関数と分散最小化戦略の異なる選択の下で、VMPOは様々な既存手法を復元し、KLを超える新しい設計方向を提案する。

関連論文リスト

• Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View [17.57225063689823]
  強化学習のポストトレーニングは、拡散モデルを人間の好みやタスク固有の報酬と整合させる方法を提供する。 現在の拡散モデルのRLアルゴリズムは断片化されている。 本稿は, 一つの経路空間原理から, 一見異なる損失が生じることを示す。
  論文  参考訳（メタデータ） (2026-08-14T16:11:55Z)
• Markov Chain Monte Carlo with Diffusion Paths [16.16991829228785]
  マルチモーダル分布からのサンプリングは、局所マルコフ連鎖モンテカルロ法における長年の挑戦である。 本稿では,拡散経路に沿って補間すること,すなわちガウスに向かって対象を輸送するノイズ発生拡散過程の限界について提案する。 我々は,MAD-PathがMCMC法と非調整拡散サンプリング器と比較して,グローバル探索とモードウェイト推定を改善したことを示す。
  論文  参考訳（メタデータ） (2026-07-13T14:48:19Z)
• Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo [15.105260031413698]
  拡散に基づく生成モデルの推論時間アライメントについて検討する。 SMCに基づく推論時間アライメントにおけるツイスト機能学習のための信頼領域フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T15:08:52Z)
• Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics [5.415983152637643]
  そこで本研究では,有限水平軌道のサンプリングに基づくフレームワークと,微分可能な動的条件下でのポリシー最適化を提案する。 政策最適化のために, (i) 初期状態分布の決定論的経験的近似, (ii) ロールアウトランダム性を補助変数として扱う拡張空間構成を用いてTSMCを拡張した。 トラジェクトリ最適化およびポリシー最適化ベンチマークによる実験では、TSMCは広く適用可能であり、最先端のベースラインと好適に比較されている。
  論文  参考訳（メタデータ） (2026-04-23T09:13:59Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Variational Optimality of Föllmer Processes in Generative Diffusions [20.583125441867434]
  有限時間地平線上の所定の目標分布に点質量を輸送する生成拡散を解析する。 拡散係数は, 時間空間分布を変化させることなく, エンファテリオリを調整できることが示唆された。
  論文  参考訳（メタデータ） (2026-02-11T16:15:19Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
  生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。 異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-20T05:06:26Z)
• A Diffusion Model Framework for Maximum Entropy Reinforcement Learning [32.26181994745642]
  拡散力学を原理的に組み込んだ MaxEntRL の置換対象を修正した。 DiffSAC, DiffPPO, DiffWPO は, SAC や PPO よりも良いリターンと高いサンプル効率を実現する。
  論文  参考訳（メタデータ） (2025-12-01T18:59:58Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• Aligning Latent Spaces with Flow Priors [72.24305287508474]
  本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。 特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
  論文  参考訳（メタデータ） (2025-06-05T16:59:53Z)
• Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage [16.94974733994214]
  一般的な手法では、逆KLベースの目的を最適化することで、ターゲットデータの欠如を回避できることが多い。 そこで本研究では,KLの分岐に類似した目的を直接ターゲットとした拡散型サンプリング器の訓練手法を提案する。 我々のアプローチは、すべての分布距離のメトリクスで既存のニューラルサンプリングよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-05-26T02:48:26Z)
• Aligning Few-Step Diffusion Models with Dense Reward Difference Learning [81.85515625591884]
  Stepwise Diffusion Policy Optimization (SDPO) は、数ステップの拡散モデルに適したアライメント手法である。 SDPOは、すべての中間ステップに密集した報酬フィードバックを組み込んで、すべてのデノナイジングステップを一貫したアライメントを確保する。 SDPOは、様々なステップ構成にまたがる報酬ベースのアライメントにおいて、従来手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-18T16:57:41Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。 本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。 既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。