論文の概要: GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

• arxiv url: http://arxiv.org/abs/2606.06967v1
• Date: Fri, 05 Jun 2026 06:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.6013
• Title: GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios
• Title（参考訳）: GenPO++:Jacobian-free Likelihood Ratiosによるジェネレーティブポリシー最適化
• Authors: Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi,
• Abstract要約: GenPO++は可逆的な生成ポリシー最適化フレームワークである。 高次可逆ODEソルバにおいて、履歴状態を補助記憶として使用する。 最先端のRL法よりも競争力や性能に優れる。
• 参考スコア（独自算出の注目度）: 39.578640775213906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative policies provide expressive and multimodal action distributions, making them attractive for reinforcement learning (RL) in complex continuous-control tasks. Among them, flow-based policies are especially appealing because they generate actions through deterministic transport maps. However, applying such generative policies to likelihood-based on-policy learning remains limited by the difficulty of evaluating the probability of executed actions. Existing flow RL methods either replace the true action-density ratio with approximate surrogates, which can introduce biased updates, or recover exact likelihoods through dummy-action augmentation, which enlarges the policy space and increases computation. In this work, we propose GenPO++, a reversible generative policy optimization framework that uses history states as auxiliary memory in a high-order reversible ODE solver, yielding exact inversion without changing the original action dimension. The resulting generative policy map has a log-determinant determined only by fixed solver coefficients, enabling exact and Jacobian-free likelihood-ratio computation. This design preserves the expressiveness of generative flow policies while avoiding both action ratio bias and dummy-action overhead. We evaluate GenPO++ on large-scale simulated control, fine-tuning, and real-world robotic manipulation tasks, where it achieves competitive or superior performance over state-of-the-art on-policy RL methods, while improving training stability and computational efficiency.
• Abstract（参考訳）: 生成ポリシーは表現的かつ多モーダルな行動分布を提供し、複雑な連続制御タスクにおいて強化学習(RL)に魅力を与える。 特にフローベースのポリシーは、決定論的トランスポートマップを通じてアクションを生成するため、特に魅力的である。 しかし、そのような生成ポリシーを可能性に基づくオンライン学習に適用することは、実行された行動の確率を評価することの難しさによって制限されている。 既存のフローRL法は、真のアクション密度比を近似的なサロゲートに置き換え、バイアスのある更新を導入するか、あるいはダミーアクション拡張によって正確な確率を回復し、ポリシー空間を拡大し、計算量を増加させる。 本稿では,高次可逆ODEソルバにおいて,履歴状態を補助記憶として使用する可逆的生成ポリシー最適化フレームワークであるGenPO++を提案する。 生成された生成ポリシーマップは、固定されたソルバ係数によってのみ決定される対数決定式を持ち、正確かつヤコビアンフリーな確率比計算を可能にする。 この設計は、動作比バイアスとダミー動作オーバーヘッドの両方を回避しつつ、生成フローポリシーの表現性を保っている。 我々は、GenPO++を大規模なシミュレーション制御、微調整、実世界のロボット操作タスクで評価し、訓練安定性と計算効率を改善しつつ、最先端のRL法よりも競争力や優れた性能を達成する。

関連論文リスト

• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• GoRL: An Algorithm-Agnostic Framework for Online Reinforcement Learning with Generative Policies [16.859964356466676]
  GoRLは、条件付き生成デコーダを使用してアクションを合成しながら、トラクタブルな遅延ポリシーを最適化するフレームワークである。 GoRLは、ガウス政策と最近の世代政治のベースラインの両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-12-02T09:49:26Z)
• Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards [47.557539197058496]
  逆推論のためのランダムポリシー評価(ROVER)について紹介する。 ROVERは、一様政体Q値上のソフトマックスから作用をサンプリングする最小限だが高効率なRL法である。 textbfquality(textbf+8.2 on pass@1, textbf+16.8 on pass@256)と textbfdiversity(textbf+17.6%)の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-09-29T16:09:07Z)
• GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning [34.25769740497309]
  GenPOは、正確な拡散反転を利用して、可逆なアクションマッピングを構築する、生成ポリシー最適化フレームワークである。 GenPOは、大規模な並列化トレーニングと実世界のロボット展開の可能性を解き放ち、拡散ポリシーをオンプレミスのRLにうまく統合する最初の方法である。
  論文  参考訳（メタデータ） (2025-05-24T15:57:07Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• PFPN: Continuous Control of Physically Simulated Characters using Particle Filtering Policy Network [0.9137554315375919]
  本稿では,粒子に基づく行動政策をガウス政策の代替とみなす枠組みを提案する。 本手法が様々なモーションキャプチャー模倣タスクに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-03-16T00:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。