論文の概要: DiPOD: Diffusion Policy Optimization without Drifting Apart

• arxiv url: http://arxiv.org/abs/2606.13795v2
• Date: Wed, 17 Jun 2026 17:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 13:57:35.107743
• Title: DiPOD: Diffusion Policy Optimization without Drifting Apart
• Title（参考訳）: DiPOD:拡散政策の最適化
• Abstract要約: RLポストトレーニングは、拡散政策を改善するためにますます重要になっている。 既存の拡散政策段階的な手法はしばしば不安定であり、信頼性の高い政策改善を達成できない。 本稿では,トレーニングを通じて厳密な動作を維持する拡散ポリシー最適化フレームワークbftextDiPODを提案する。
• 参考スコア（独自算出の注目度）: 88.2714417395158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RL post-training has become increasingly pivotal for improving diffusion policies, but existing diffusion policy-gradient methods are often unstable and cannot achieve reliable policy improvement. We identify the cause as the double-drift phenomenon: optimizing a variational surrogate can let the ELBO separate from the true log-likelihood, which then makes the resulting proxy policy gradient misaligned with the true policy gradient of expected return. We propose \textbf{DiPOD}, a diffusion policy optimization framework that maintains tight-bound behavior throughout training by interleaving self-distillation with policy-improving gradient updates. This leads to a simple and practical algorithm: augmenting each diffusion policy-gradient update with an on-policy ELBO regularizer. Across diffusion language model post-training and continuous-control diffusion policies, DiPOD substantially stabilizes training and reaches higher rewards than previous methods.
• Abstract（参考訳）: RLポストトレーニングは、拡散政策を改善するためにますます重要になっているが、既存の拡散政策段階の手法は不安定であり、信頼性の高い政策改善を達成できないことが多い。 変動サロゲートを最適化することで、ELBOを真のログライクな状態から切り離すことができ、その結果のプロキシポリシー勾配が期待されるリターンの真のポリシー勾配と不一致となる。 本稿では,政策改善勾配更新と自己蒸留をインターリーブすることで,トレーニングを通して厳密な拘束動作を維持する拡散政策最適化フレームワークである「textbf{DiPOD}」を提案する。 このアルゴリズムは、各拡散ポリシーの段階的な更新を、政治上のELBOレギュレータで増やすという、シンプルで実用的なアルゴリズムに導かれる。 拡散言語モデルと連続制御拡散ポリシーの相違により、DPODはトレーニングを実質的に安定させ、従来の方法よりも高い報酬を得る。

関連論文リスト

• Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching [25.3394501858201]
  拡散政策は強化学習(RL)における複雑な行動分布を表す 我々は,近年の最適制御の進歩を活用して,拡散政策を最適化するための高効率アルゴリズムを提案する。 提案手法は, シミュレーション不要な学習を可能にし, 明確な仮説推定の必要性を回避できる随伴マッチングに基づいている。
  論文  参考訳（メタデータ） (2026-06-21T18:32:25Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm [2.6813717321945103]
  より効率的な非政治データ利用による保守的オン・ポリティクス反復の安定性保証に基づく新しいPPO変種を提案する。 PPOと他の最先端の変種と比較して、バランスの取れたサンプル効率と各種タスクの安定性により、ExO-PPOの性能が向上することを示した。
  論文  参考訳（メタデータ） (2026-02-10T12:29:57Z)
• Dichotomous Diffusion Policy Optimization [46.51375996317989]
  DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。 また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2025-12-31T16:56:56Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Forward KL Regularized Preference Optimization for Aligning Diffusion Policies [8.958830452149789]
  拡散政策の学習における中心的な問題は、様々なタスクにおいて、政策の出力と人間の意図を一致させることである。 そこで本稿では,拡散ポリシーを優先事項と整合させる新しいフレームワーク,フォワードKL正規化参照最適化を提案する。 その結果,提案手法は好みとの整合性が優れ,従来の最先端アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-09T13:56:03Z)
• Diffusion Policy Policy Optimization [37.04382170999901]
  拡散ポリシー最適化(DPPO)は、拡散ポリシーを微調整するアルゴリズムフレームワークである。 DPOは、一般的なベンチマークの微調整において、最も優れた全体的なパフォーマンスと効率を達成する。 DPPOはRLファインチューニングと拡散パラメタライゼーションのユニークな相乗効果を生かしていることを示す。
  論文  参考訳（メタデータ） (2024-09-01T02:47:50Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Policy Representation via Diffusion Probability Model for Reinforcement Learning [67.56363353547775]
  拡散確率モデルを用いて政策表現の理論的基礎を構築する。 本稿では,拡散政策の多様性を理解するための理論を提供する,拡散政策の収束保証について述べる。 本研究では,Diffusion POlicyを用いたモデルフリーオンラインRLの実装であるDIPOを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:23:41Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。