論文の概要: Doob-Based Generative Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.28990v1
• Date: Tue, 20 Oct 2026 23:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.224258
• Title: Doob-Based Generative Policy Optimization
• Title（参考訳）: Doobベースのジェネレーティブポリシー最適化
• Abstract要約: DoobPOは、Doobの$h$-transformを利用して生成ポリシーの微調整を行うフレームワークである。 本研究では,DoobPOが競争拡散・フローポリティクスベースラインに対して高い性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 37.01070068216679
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion and flow models provide expressive policy classes for robotic and sequential decision-making systems. However, their action likelihoods are generally intractable, limiting the direct use of widely adopted policy optimization methods such as PPO and GRPO. We propose Doob Policy Optimization (DoobPO), a framework that leverages Doob's $h$-transform for likelihood-free reinforcement learning fine-tuning of generative policies. DoobPO separates policy improvement from generative policy learning. It first learns a lightweight ratio model that represents the desired policy update, and then distills the resulting ratio-tilted target policy into the generative policy via conditional drift matching. This formulation applies uniformly to both diffusion and flow policies and supports a broad family of policy improvement rules, including PPO and GRPO. We prove that the practical conditional drift matching objective is gradient-equivalent to the ideal Doob drift matching objective. We further show that the induced diffusion process solves an endpoint-constrained stochastic optimal control problem. This establishes that it achieves the minimum-energy modification required to realize the desired policy tilt. Across MuJoCo continuous-control benchmarks, DoobPO achieves strong performance against competitive diffusion- and flow-policy baselines, showing a principled and practical route to RL fine-tuning for generative policies.
• Abstract（参考訳）: 拡散とフローモデルは、ロボットおよびシーケンシャルな意思決定システムのための表現力のあるポリシークラスを提供する。 しかしながら、それらの行動可能性は一般的には難解であり、PPOやGRPOといった広く採用されている政策最適化手法の直接的な使用を制限している。 提案するDoob Policy Optimization(DoobPO)は,Doobの$h$-transformを利用して生成ポリシーの微調整を行うフレームワークである。 DoobPOは、政策改善と生成政策学習を分離する。 まず、所望のポリシー更新を表す軽量比モデルを学習し、次いで条件付きドリフトマッチングを通じて生成ポリシーに結果の比率付きターゲットポリシーを蒸留する。 この定式化は拡散政策と流路政策の両方に一様に適用され、PPOやGRPOを含む幅広い政策改善ルールのファミリーをサポートする。 本研究では,現実的な条件付きドリフトマッチング目的が,理想的Doobドリフトマッチング目標と等価であることを証明する。 さらに、誘導拡散過程は、終端制約付き確率的最適制御問題を解くことを示す。 これにより、所望の政策傾きを実現するのに必要な最小エネルギーの修正が達成される。 MuJoCo の連続制御ベンチマーク全体では、DoobPO は競合拡散とフローポリティクスのベースラインに対して強い性能を達成し、生成ポリシーのためのRL 微調整への原則的かつ実践的な道筋を示している。

関連論文リスト

• DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation [3.566088481125918]
  本稿では,政策改善を政策表現から切り離したDR-APOを紹介する。 これは、拡散ポリシーとフローマッチングポリシーの両方に対して、ポリシーのみのベストアグリゲートパフォーマンスを達成する。 NavDPのポストトレーニングは、成功率(SR)を70.33%から89.55%に改善し、現実のナビゲーションでは25%から65%に改善した。
  論文  参考訳（メタデータ） (2026-10-12T11:33:19Z)
• DiPOD: Diffusion Policy Optimization without Drifting Apart [88.2714417395158]
  RLポストトレーニングは、拡散政策を改善するためにますます重要になっている。 既存の拡散政策段階的な手法はしばしば不安定であり、信頼性の高い政策改善を達成できない。 本稿では,トレーニングを通じて厳密な動作を維持する拡散ポリシー最適化フレームワークbftextDiPODを提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:06:04Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning [6.836651088754774]
  PolicyFlowは、CNFベースの強化学習アルゴリズムである。 表現力のあるCNFポリシーをPPOスタイルの目的と統合し、フルフローパスに沿って可能性評価を行う。 PolicyFlowは、簡単な経路に沿って速度場の変動を利用して重要度を近似し、訓練安定性を損なうことなく計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2026-02-01T11:08:09Z)
• Dichotomous Diffusion Policy Optimization [46.51375996317989]
  DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。 また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2025-12-31T16:56:56Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Diffusion Policy Policy Optimization [37.04382170999901]
  拡散ポリシー最適化(DPPO)は、拡散ポリシーを微調整するアルゴリズムフレームワークである。 DPOは、一般的なベンチマークの微調整において、最も優れた全体的なパフォーマンスと効率を達成する。 DPPOはRLファインチューニングと拡散パラメタライゼーションのユニークな相乗効果を生かしていることを示す。
  論文  参考訳（メタデータ） (2024-09-01T02:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。