論文の概要: A dynamical clipping approach with task feedback for Proximal Policy
Optimization
- arxiv url: http://arxiv.org/abs/2312.07624v2
- Date: Fri, 8 Mar 2024 02:37:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 22:55:13.197795
- Title: A dynamical clipping approach with task feedback for Proximal Policy
Optimization
- Title(参考訳): タスクフィードバックを用いた動的クリッピング手法による政策最適化
- Authors: Ziqi Zhang, Jingzehua Xu, Zifeng Zhuang, Jinxin Liu, Donglin wang,
Shuai Zhang
- Abstract要約: 最適クリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。
以前の研究では、固定された切り抜きがエージェントの探索を制限することが示唆された。
Pb-PPO(Preference based Proximal Policy Optimization)と呼ばれる新しいアルゴリズムを導入する。
- 参考スコア(独自算出の注目度): 31.823327359782162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proximal Policy Optimization (PPO) has been broadly applied to various
domains, including Large Language Model (LLM) optimization and Robotics
learning, etc. However, PPO is limited by a fixed setting for the clipping
bound. Specifically, there is no theoretical proof that the optimal clipping
bound remains consistent throughout the entire training process. Truncating the
ratio of the new and old policies with a unique clipping bound ensures stable
training and can achieve the best training performance. Additionally, previous
research suggests that a fixed clipping bound limits the agent's exploration.
Therefore, researching a dynamical clipping bound to enhance PPO's performance
can be highly beneficial. Different from previous clipping approaches, we
consider increasing the maximum cumulative Return in reinforcement learning
(RL) tasks as the preference of the RL task, and propose a bi-level proximal
policy optimization paradigm, which involves not only optimizing the policy but
also dynamically adjusting the clipping bound to reflect the preference of the
RL tasks to further elevate the training outcomes and stability of PPO. Based
on this bi-level proximal policy optimization paradigm, we introduce a new
algorithm named Preference based Proximal Policy Optimization (Pb-PPO). This
algorithm utilizes a multi-armed bandit algorithm to reflect RL preferences (we
also validate that such approach can be utilized to reflect human preference),
recommending the optimal clipping bound for PPO in each epoch, thereby
achieving more stable and better training outcomes.
- Abstract(参考訳): PPO(Proximal Policy Optimization)は、LLM(Large Language Model)最適化やロボティクス学習など、さまざまな領域に広く適用されている。
しかし、PPOはクリッピングバウンドの固定設定によって制限される。
具体的には、最適クリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。
新しいポリシーと古いポリシーの比率をユニークなクリッピングバウンドで縮めることで、安定したトレーニングが保証され、最高のトレーニングパフォーマンスを達成することができる。
さらに、以前の研究では、固定されたクリップング境界がエージェントの探索を制限することを示唆している。
したがって,PPOの性能向上を目的とした動的クリッピングの研究は有用である。
従来のクリッピング手法と異なり、強化学習(RL)タスクにおける最大累積リターンの増大をRLタスクの優先として検討し、ポリシーを最適化するだけでなく、RLタスクの嗜好を反映してクリッピングを動的に調整し、PPOのトレーニング結果と安定性をさらに高める2段階の近位政策最適化パラダイムを提案する。
このbi-level proximal policy optimization (pb-ppo) に基づく新しいアルゴリズムである preference based proximal policy optimization (pb-ppo) を提案する。
このアルゴリズムは、rlの好みを反映したマルチアームバンディットアルゴリズム(このアプローチは人間の好みを反映して利用できることを検証している)を使用し、各時代におけるppoの最適なクリッピングバウンドを推奨し、より安定してより良いトレーニング結果を得る。
関連論文リスト
- Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Statistical Rejection Sampling Improves Preference Optimization [42.57245965632205]
提案手法は,リジェクションサンプリングを用いた最適ポリシーからのソース選好データに対する新しいアプローチを提案する。
また、嗜好モデルの観点から、SLiC(Sequence Likelihood)とDPO(Direct Preference Optimization)の両方で使用される損失関数を強化する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-13T01:07:25Z) - Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。
我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。
我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文 参考訳(メタデータ) (2023-06-18T15:50:57Z) - Local Optimization Achieves Global Optimality in Multi-Agent
Reinforcement Learning [139.53668999720605]
本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。
マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
論文 参考訳(メタデータ) (2023-05-08T16:20:03Z) - You May Not Need Ratio Clipping in PPO [117.03368180633463]
Proximal Policy Optimization (PPO) 法は、複数のミニバッチ最適化エポックを1組のサンプルデータで反復的に実行することでポリシーを学習する。
比率クリッピングPPOは、ターゲットポリシーとサンプル収集に使用されるポリシーの確率比をクリップする一般的な変種である。
本論文では, この比クリッピングが有効に結合できないため, 良好な選択ではないことを示す。
ESPOは、多くのワーカーによる分散トレーニングに簡単にスケールアップでき、パフォーマンスも高いことを示す。
論文 参考訳(メタデータ) (2022-01-31T20:26:56Z) - Hinge Policy Optimization: Rethinking Policy Improvement and
Reinterpreting PPO [6.33198867705718]
政策最適化は強化学習アルゴリズムを設計するための基本原理である。
優れた経験的性能にもかかわらず、PPO-clipは今まで理論的な証明によって正当化されていない。
PPO-クリップの変種に対する最適ポリシーへの大域収束を証明できるのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-26T15:56:57Z) - Proximal Policy Optimization Smoothed Algorithm [0.0]
我々はPPOの変種であるPPOS(Proximal Policy Optimization Smooth Algorithm)を提案する。
その重要な改善点は、フラットなクリッピング法の代わりに機能的なクリッピング法を使用することである。
連続制御タスクにおける性能と安定性の両面で、最新のPPOのバリエーションよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-04T07:43:50Z) - CRPO: A New Approach for Safe Reinforcement Learning with Convergence
Guarantee [61.176159046544946]
安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。
これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
論文 参考訳(メタデータ) (2020-11-11T16:05:14Z) - Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。
変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。
我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文 参考訳(メタデータ) (2020-10-20T23:25:42Z) - Optimistic Distributionally Robust Policy Optimization [2.345728642535161]
Trust Region Policy Optimization (TRPO) と Proximal Policy Optimization (PPO) は、特定のパラメトリック分布クラスにポリシー表現を制限するため、準最適解に収束する傾向にある。
そこで我々は,信頼領域制約最適化問題をパラメータ化せずに解くために,最適分布ロバストポリシ最適化(ODRO)アルゴリズムを開発した。
提案アルゴリズムは, TRPOとPPOを改良し, 学習安定性を確保しつつ, サンプル効率の向上と最終方針の性能向上を実現した。
論文 参考訳(メタデータ) (2020-06-14T06:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。