論文の概要: No Representation, No Trust: Connecting Representation, Collapse, and Trust Issues in PPO

• arxiv url: http://arxiv.org/abs/2405.00662v1
• Date: Wed, 1 May 2024 17:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 14:57:49.258741
• Title: No Representation, No Trust: Connecting Representation, Collapse, and Trust Issues in PPO
• Title（参考訳）: 表現なし、信頼なし:PPOにおける表現・崩壊・信頼問題
• Authors: Skander Moalla, Andrea Miele, Razvan Pascanu, Caglar Gulcehre,
• Abstract要約: 本研究では,AtariおよびMuJoCo環境におけるPPOにおける表現ダイナミクスについて検討した。 これは強い非定常性によって悪化し、最終的に俳優のパフォーマンスが崩壊することを示します。 本稿では,新しい補助的損失であるPFO(Proximal Feature Optimization)について,表現ダイナミクスの正規化によってPPOエージェントの性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 14.08878720603957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is inherently rife with non-stationarity since the states and rewards the agent observes during training depend on its changing policy. Therefore, networks in deep RL must be capable of adapting to new observations and fitting new targets. However, previous works have observed that networks in off-policy deep value-based methods exhibit a decrease in representation rank, often correlated with an inability to continue learning or a collapse in performance. Although this phenomenon has generally been attributed to neural network learning under non-stationarity, it has been overlooked in on-policy policy optimization methods which are often thought capable of training indefinitely. In this work, we empirically study representation dynamics in Proximal Policy Optimization (PPO) on the Atari and MuJoCo environments, revealing that PPO agents are also affected by feature rank deterioration and loss of plasticity. We show that this is aggravated with stronger non-stationarity, ultimately driving the actor's performance to collapse, regardless of the performance of the critic. We draw connections between representation collapse, performance collapse, and trust region issues in PPO, and present Proximal Feature Optimization (PFO), a novel auxiliary loss, that along with other interventions shows that regularizing the representation dynamics improves the performance of PPO agents.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、訓練中にエージェントが観察する報酬や報酬は、その変化政策に依存するため、本質的に非定常性と結びついている。 したがって、深部RLのネットワークは、新しい観測に適応し、新しい目標に適合できなければならない。 しかし、従来の研究では、非政治的なディープバリューベースの手法のネットワークは表現ランクの低下を示しており、しばしば学習の継続やパフォーマンスの崩壊と相関している。 この現象は一般に、非定常性下でのニューラルネットワーク学習によるものであるが、しばしば無期限に訓練できると考えられる政治政策最適化手法では見過ごされている。 本研究では,Atari および MuJoCo 環境におけるPPO の表現動態を実験的に研究し,PPO エージェントが特徴量劣化や可塑性の喪失にも影響していることを明らかにする。 これは強い非定常性によって悪化し、批評家のパフォーマンスに関わらず、最終的に俳優の演技が崩壊することを示します。 我々は,PPOにおける表現の崩壊,性能の崩壊,信頼領域の問題と,新しい補助的損失であるPFO(Proximal Feature Optimization)の関連を引き合いに出し,表現ダイナミクスの正規化がPPOエージェントの性能を向上させることを示す。

関連論文リスト

• Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations [5.076419064097735]
  近年の研究では、十分に訓練されたRL剤は、試験段階における状態観察を戦略的に摂動させることで容易に操作できることが示されている。 既存のソリューションは、摂動に対する訓練されたポリシーの滑らかさを改善するために正規化用語を導入するか、代わりにエージェントのポリシーと攻撃者のポリシーを訓練する。 本稿では,エージェントの真の状態に対する不確実性を保護するための悲観的ポリシーを導出する,新しいロバストなRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T20:52:49Z)
• Adversarial Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
  ディープニューラルネットワークで表されるポリシーは過度に適合し、強化学習エージェントが効果的なポリシーを学ぶのを妨げます。 データ拡張は、オーバーフィッティングの効果を軽減し、RLエージェントのパフォーマンスを高めることができる。 本稿では、上記の問題を緩和し、学習ポリシーの効率を向上させるための新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-27T21:01:08Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Dealing with the Unknown: Pessimistic Offline Reinforcement Learning [25.30634466168587]
  本稿では, PessORLアルゴリズムを用いて, エージェントを慣れ親しんだ領域に積極的に誘導する手法を提案する。 我々は、アウト・オブ・ディストリビューション(OOD)状態に起因する問題に注目し、トレーニングデータセットに欠けている状態において、意図的に高い価値をペナルティ化する。
  論文  参考訳（メタデータ） (2021-11-09T22:38:58Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。