論文の概要: CIM-PPO:Proximal Policy Optimization with Liu-Correntropy Induced Metric

• arxiv url: http://arxiv.org/abs/2110.10522v3
• Date: Tue, 29 Oct 2024 03:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 02:59:31.866713
• Title: CIM-PPO:Proximal Policy Optimization with Liu-Correntropy Induced Metric
• Title（参考訳）: CIM-PPO:Liu-Correntropy誘発計量を用いた最適政策最適化
• Authors: Yunxiao Guo, Han Long, Xiaojun Duan, Kaiyuan Feng, Maochu Li, Xiaying Ma,
• Abstract要約: Proximal Policy Optimization (PPO) は、Deep Reinforcement Learning (DRL) アルゴリズムとして人気がある。 本稿では,PPO-KLに対するKL分散の非対称性の影響を解析する。 KLの非対称性がPPO-KLの政策改善に影響を及ぼし,PPO-CIMがPPO-KLとPPO-Clipの両方よりも優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 0.5409700620900998
• License:
• Abstract: As a popular Deep Reinforcement Learning (DRL) algorithm, Proximal Policy Optimization (PPO) has demonstrated remarkable efficacy in numerous complex tasks. According to the penalty mechanism in a surrogate, PPO can be classified into PPO with KL divergence (PPO-KL) and PPO with Clip (PPO-Clip). In this paper, we analyze the impact of asymmetry in KL divergence on PPO-KL and highlight that when this asymmetry is pronounced, it will misguide the improvement of the surrogate. To address this issue, we represent the PPO-KL in inner product form and demonstrate that the KL divergence is a Correntropy Induced Metric (CIM) in Euclidean space. Subsequently, we extend the PPO-KL to the Reproducing Kernel Hilbert Space (RKHS), redefine the inner products with RKHS, and propose the PPO-CIM algorithm. Moreover, this paper states that the PPO-CIM algorithm has a lower computation cost in policy gradient and proves that PPO-CIM can guarantee the new policy is within the trust region while the kernel satisfies some conditions. Finally, we design experiments based on six Mujoco continuous-action tasks to validate the proposed algorithm. The experimental results validate that the asymmetry of KL divergence can affect the policy improvement of PPO-KL and show that the PPO-CIM can perform better than both PPO-KL and PPO-Clip in most tasks.
• Abstract（参考訳）: 一般のDeep Reinforcement Learning (DRL)アルゴリズムとして、PPO(Proximal Policy Optimization)が多くの複雑なタスクにおいて顕著な効果を示した。 代理のペナルティ機構により、PPOはKL発散(PPO−KL)とClip(PPO−Clip)のPPOに分類される。 本稿では,PPO-KLに対するKL分散の非対称性の影響を解析し,この非対称性が発音されると,サロゲートの改善を誤ることを示した。 この問題に対処するため、PPO-KL を内積形式で表現し、KL の発散がユークリッド空間のコレントロピー誘導距離(CIM)であることを証明した。 その後、PPO-KLを再生カーネルヒルベルト空間(RKHS)に拡張し、内部積をRKHSで再定義し、PPO-CIMアルゴリズムを提案する。 さらに、PPO-CIMアルゴリズムはポリシー勾配の計算コストが低く、カーネルがいくつかの条件を満たす間、PPO-CIMが信頼領域内にあることを保証できることを示す。 最後に,提案アルゴリズムの有効性を検証するために,6つのMujoco連続動作タスクに基づく実験を設計する。 その結果, PPO-KL は PPO-KL と PPO-Clip の両方よりも優れた性能を示すことがわかった。

関連論文リスト

• Understanding Reference Policies in Direct Preference Optimization [50.67309013764383]
  DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)の微調整のための訓練手法として広く使われている。 この研究は、参照モデルやポリシーに依存しているDPOの未検討の側面を探求する。
  論文  参考訳（メタデータ） (2024-07-18T17:08:10Z)
• Transductive Off-policy Proximal Policy Optimization [27.954910833441705]
  本稿では,従来のPPO法(Transductive Off-policy PPO (ToPPO))と命名された新しいオフポリシー拡張を提案する。 我々の貢献には、非政治データから導かれる将来的な政策に対する政策改善の低い境界の新たな定式化が含まれます。 ToPPOの有望な性能を裏付ける6つの代表的なタスクの総合的な実験結果。
  論文  参考訳（メタデータ） (2024-06-06T09:29:40Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• A dynamical clipping approach with task feedback for Proximal Policy Optimization [29.855219523565786]
  最適なPPOクリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。 過去の研究は、PPOクリッピングバウンドを動的に調整し、PPOの性能を向上させることを目的としている。 我々は、強化学習タスクの嗜好(最大回帰)をよりよく反映するために、Preference based Proximal Policy Optimization (Pb-PPO)を提案する。
  論文  参考訳（メタデータ） (2023-12-12T06:35:56Z)
• PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration [14.17825337817933]
  自己適応型不確実性探索機能を備えたPPO-UEを提案する。 提案するPPO-UEは,Roboschool連続制御タスクのベースラインPPOよりもかなり優れている。
  論文  参考訳（メタデータ） (2022-12-13T02:51:43Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• You May Not Need Ratio Clipping in PPO [117.03368180633463]
  Proximal Policy Optimization (PPO) 法は、複数のミニバッチ最適化エポックを1組のサンプルデータで反復的に実行することでポリシーを学習する。 比率クリッピングPPOは、ターゲットポリシーとサンプル収集に使用されるポリシーの確率比をクリップする一般的な変種である。 本論文では, この比クリッピングが有効に結合できないため, 良好な選択ではないことを示す。 ESPOは、多くのワーカーによる分散トレーニングに簡単にスケールアップでき、パフォーマンスも高いことを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:26:56Z)
• Hinge Policy Optimization: Rethinking Policy Improvement and Reinterpreting PPO [6.33198867705718]
  政策最適化は強化学習アルゴリズムを設計するための基本原理である。 優れた経験的性能にもかかわらず、PPO-clipは今まで理論的な証明によって正当化されていない。 PPO-クリップの変種に対する最適ポリシーへの大域収束を証明できるのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-26T15:56:57Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• On Proximal Policy Optimization's Heavy-tailed Gradients [150.08522793940708]
  近位政策最適化による報酬関数の勾配の重み付き性質について検討した。 本稿では,標準的なppoクリッピングの効果について検討し,グラデーションの重み付けを相殺する効果があることを示した。 3つのクリッピングトリックの代替として,高次元ロバストな推定器であるGMOMをPPOに組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-02-20T05:51:28Z)
• Proximal Policy Optimization with Relative Pearson Divergence [8.071506311915396]
  PPOは、最新ポリシーとベースラインポリシーの密度比を閾値でクリップするが、最小化ターゲットは不明確である。 本稿では、相対ピアソン分散(RPE)の正規化問題(いわゆるPPO-RPE)を考慮し、PPOの新しい変種を提案する。 4つのベンチマークタスクを通じて,PPO-RPEは学習方針によるタスク性能の点で従来の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-10-07T09:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。