論文の概要: Proximal Policy Optimization in Path Space: A Schrödinger Bridge Perspective

• arxiv url: http://arxiv.org/abs/2603.21621v1
• Date: Mon, 23 Mar 2026 06:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.52712
• Title: Proximal Policy Optimization in Path Space: A Schrödinger Bridge Perspective
• Title（参考訳）: 経路空間における政策最適化 : シュレーディンガー橋の展望
• Authors: Yuehu Gong, Zeyuan Wang, Yulin Chen, Yanwei Fu,
• Abstract要約: 我々は、一般化シュルディンガー橋(GSB)に触発された生成PPOの経路空間定式化であるGSB-PPOを提案する。 本枠組みでは,クリッピングに基づく目的,GSB-PPO-Clip,およびペナルティに基づく目的,GSB-PPO-Penaltyの2つの具体的目標を開発する。 提案手法は,PPOを用いた生成ポリシーのトレーニングに有効な原理としてパス空間近位正規化が重要である。
• 参考スコア（独自算出の注目度）: 41.829130841650326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy reinforcement learning with generative policies is promising but remains underexplored. A central challenge is that proximal policy optimization (PPO) is traditionally formulated in terms of action-space probability ratios, whereas diffusion- and flow-based policies are more naturally represented as trajectory-level generative processes. In this work, we propose GSB-PPO, a path-space formulation of generative PPO inspired by the Generalized Schrödinger Bridge (GSB). Our framework lifts PPO-style proximal updates from terminal actions to full generation trajectories, yielding a unified view of on-policy optimization for generative policies. Within this framework, we develop two concrete objectives: a clipping-based objective, GSB-PPO-Clip, and a penalty-based objective, GSB-PPO-Penalty. Experimental results show that while both objectives are compatible with on-policy training, the penalty formulation consistently delivers better stability and performance than the clipping counterpart. Overall, our results highlight path-space proximal regularization as an effective principle for training generative policies with PPO.
• Abstract（参考訳）: 生成政策によるオンライン強化学習は有望であるが、まだ未調査である。 中心的な課題は、PPO(proximal policy optimization)が伝統的に行動空間確率比で定式化されているのに対し、拡散とフローに基づく政策は、より自然に軌道レベルの生成過程として表されることである。 本研究では、一般化シュレーディンガー橋(GSB)に触発された生成的PPOの経路空間定式化であるGSB-PPOを提案する。 本フレームワークは,PPO型近位更新を終末動作から全世代軌道へ引き上げ,生成ポリシーのオン・ポリティクス最適化の統一的な視点を提供する。 本枠組みでは,クリッピングに基づく目的,GSB-PPO-Clip,およびペナルティに基づく目的,GSB-PPO-Penaltyの2つの具体的目標を開発する。 実験の結果,両目的がオンライントレーニングと相容れない一方で,ペナルティの定式化はクリッピングの定式化よりも安定性と性能が向上することがわかった。 本研究は,PPOを用いた生成ポリシーのトレーニングに有効な原則として,経路空間近位正規化が注目されている。

関連論文リスト

• Soft Sequence Policy Optimization [0.0]
  我々は,非政治強化学習の目的として,ソフトシーケンスポリシー最適化(SSPO)を導入する。 SSPOは、トークンレベルの確率比を超えるソフトゲーティング関数をシーケンスレベルの重要重みに組み込む。 数学推論タスクにおいて,SSPOはトレーニングの安定性と性能を向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-22T20:21:00Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• A KL-regularization framework for learning to plan with adaptive priors [1.0246259631050245]
  政策最適化モデル予測制御(PO-MPC)を導入する。 PO-MPCは、政策最適化の先駆けとしてプランナーの行動分布を統合する。 実験により,これらの拡張構成により,大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-10-05T16:45:38Z)
• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• A dynamical clipping approach with task feedback for Proximal Policy Optimization [29.855219523565786]
  最適なPPOクリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。 過去の研究は、PPOクリッピングバウンドを動的に調整し、PPOの性能を向上させることを目的としている。 我々は、強化学習タスクの嗜好(最大回帰)をよりよく反映するために、Preference based Proximal Policy Optimization (Pb-PPO)を提案する。
  論文  参考訳（メタデータ） (2023-12-12T06:35:56Z)
• Clipped-Objective Policy Gradients for Pessimistic Policy Optimization [3.2996723916635275]
  政策勾配法は、政策出力の有界変化を通じて単調な改善を図っている。 本研究では,PPOの性能を連続的な作用空間に適用した場合,目的の単純変化によって一貫した改善が期待できることを示す。 PPO と PPO の両目標に比較して, COPG の目標が平均的な「悲観的」であること, 2) この悲観主義は探索を促進させることを示した。
  論文  参考訳（メタデータ） (2023-11-10T03:02:49Z)
• Diverse Policy Optimization for Structured Action Space [59.361076277997704]
  エネルギーベースモデル(EBM)として構造化された行動空間における政策をモデル化するための多元的政策最適化(DPO)を提案する。 新しい強力な生成モデルであるGFlowNetは、効率よく多様なEMMベースのポリシーサンプリングとして導入されている。 ATSCとBattleベンチマークの実験では、DPOが驚くほど多様なポリシーを効率的に発見できることが示されている。
  論文  参考訳（メタデータ） (2023-02-23T10:48:09Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。