論文の概要: iADD: Improving Alignment and Diversity in Diffusion Policy Optimization
- arxiv url: http://arxiv.org/abs/2610.01789v1
- Date: Thu, 01 Oct 2026 14:35:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.195939
- Title: iADD: Improving Alignment and Diversity in Diffusion Policy Optimization
- Title（参考訳）: iADD:拡散政策最適化におけるアライメントと多様性の改善
- Abstract要約: 慎重な理論的考察と手法設計を通じて、よりよいトレードオフを提供する。
理論的枠組みを解析し,拡散モデルのエンフォニー・ラスタ・タイムステップ更新が多様性に有害であることを示す。
- 参考スコア（独自算出の注目度）: 20.98948004289507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning based post training of diffusion models, such as Denoising Diffusion Policy Optimization (DDPO), optimizes a reverse diffusion process under a reward function. However, current approaches to reward optimizations do so at the cost of diversity and quality. In this paper, we provide better tradeoffs through careful theoretical considerations and method design. We analyze the theoretical framework and mathematically demonstrate that \emph{only-latter timestep} updates of diffusion model may be harmful for diversity contrary to the conclusions presented in a previous work. Additionally, we propose an incremental Feynman-Kac training based on strong theoretical foundations in order to achieve the best-yet alignment-diversity tradeoffs. We perform extensive experiments and compare our method against related diffusion policy optimization approaches in three different tasks and also provide strong ablations for each component, thus validating strong performance gains in both alignment and diversity.
- Abstract（参考訳）: Denoising Diffusion Policy Optimization (DDPO) のような拡散モデルの強化学習に基づくポストトレーニングは、報酬関数の下での逆拡散プロセスを最適化する。
しかし、現在の最適化に対するアプローチは多様性と品質を犠牲にしている。
本稿では,慎重な理論的考察と手法設計を通じて,よりよいトレードオフを提供する。
理論的枠組みを解析し,拡散モデルにおける 'emph{only-latter timestep} の更新が,以前の研究で提示された結論に反する多様性に有害であることを示す。
さらに,最適なアライメントと多様性のトレードオフを達成するために,強い理論基盤に基づくインクリメンタルなFeynman-Kacトレーニングを提案する。
我々は,3つの異なるタスクにおいて,関連する拡散政策最適化手法と比較し,各コンポーネントに対して強い改善を提供し,アライメントと多様性の両面で高い性能向上を検証した。
関連論文リスト
- DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment [52.570581883709345]
本稿では,報酬を人間レベルの報酬分布マッチングに置き換えるトラジェクティブマッチングポリシバランス最適化(TMPO)を提案する。
TMPOは最先端の手法に対する生成的多様性を9.1%向上させ、下流および効率の指標で競合性能を達成する。
大規模フロープレフィックスのマルチトラックトレーニング時間を短縮するため、TMPOはDynamic Tree Smplingモデルを導入し、動的にスケジュールされたステップでトラジェクトリがdenoisingとブランチを共有する。
論文 参考訳（メタデータ） (2026-05-09T04:41:02Z) - SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。
提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。
様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-01T07:13:20Z) - OBLR-PO: A Theoretical Framework for Stable Reinforcement Learning [12.77713716713937]
一般的な政策次数推定器の統計特性を特徴付ける統一理論フレームワークを提供する。
勾配の信号対雑音比(SNR)によって制御される適応的な学習率スケジュールを導出する。
さらに、分散-最適基底線が勾配重み付き推定器であることを示し、分散還元の新しい原理を提供する。
論文 参考訳（メタデータ） (2025-11-28T16:09:28Z) - Consolidating Reinforcement Learning for Multimodal Discrete Diffusion Models [40.82263997290613]
離散拡散においてスケーラブルなマルチモーダル強化学習を実現するための,最初の実行可能なアプローチであるMaskGRPOを紹介する。
MaskGRPOはより安定的で効率的なアップデートをもたらし、推論性能が向上し、世代品質が向上する。
論文 参考訳（メタデータ） (2025-10-03T10:36:24Z) - Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。
DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
論文 参考訳（メタデータ） (2025-07-10T07:57:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。