論文の概要: Behind the Myth of Exploration in Policy Gradients

• arxiv url: http://arxiv.org/abs/2402.00162v2
• Date: Tue, 21 Jan 2025 16:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:40.259606
• Title: Behind the Myth of Exploration in Policy Gradients
• Title（参考訳）: 政策グラディエント探究の神話の裏側
• Authors: Adrien Bolland, Gaspard Lambrechts, Damien Ernst,
• Abstract要約: ポリシ・グラディエント・アルゴリズムは制御問題を解くための効果的な強化学習手法である。 準最適政策を計算するためには,探索用語を学習目的に含めることが不可欠である。 学習目標に2つの基準、勾配推定に2つの基準を導入し、その後、最適化後の政策の質について議論するために使用される。
• 参考スコア（独自算出の注目度）: 1.75493501156941
• License:
• Abstract: Policy-gradient algorithms are effective reinforcement learning methods for solving control problems. To compute near-optimal policies, it is essential in practice to include exploration terms in the learning objective. Although the effectiveness of these terms is usually justified by an intrinsic need to explore environments, we propose a novel analysis with the lens of numerical optimization. Two criteria are introduced on the learning objective and two others on its stochastic gradient estimates, and are afterwards used to discuss the quality of the policy after optimization. The analysis sheds the light on two separate effects of exploration techniques. First, they make it possible to smooth the learning objective and to eliminate local optima while preserving the global maximum. Second, they modify the gradient estimates, increasing the probability that the stochastic parameter updates eventually provide an optimal policy. These effects are illustrated empirically on exploration strategies based on entropy bonuses, highlighting their limitations and opening avenues for future works in the design and analysis of such strategies.
• Abstract（参考訳）: ポリシ・グラディエント・アルゴリズムは制御問題を解くための効果的な強化学習手法である。 準最適政策を計算するためには,探索用語を学習目的に含めることが不可欠である。 これらの用語の有効性は、通常、環境を探索する本質的な必要性によって正当化されるが、数値最適化のレンズを用いた新しい分析法を提案する。 学習目的と確率勾配推定の2つの基準を導入し、その後、最適化後の政策の質について議論するために使用される。 この分析は、探査技術の2つの異なる効果に光を当てている。 まず、学習目的を円滑にし、グローバルな最大値を保ちながら局所的な最適性を排除できるようにする。 第2に、勾配推定を修正し、確率的パラメータ更新が最終的に最適なポリシーを提供する確率を増大させる。 これらの効果は、エントロピーボーナスに基づく探索戦略を実証的に説明し、その限界を強調し、これらの戦略の設計と分析における今後の研究への道を開く。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• When Do Off-Policy and On-Policy Policy Gradient Methods Align? [15.7221450531432]
  政策勾配法は連続的な行動空間を持つタスクに対する強化学習アルゴリズムとして広く採用されている。 サンプル効率を改善するための一般的な方法は、重要でないサンプリングから計算可能な目的関数を変更することである。 本研究は,旅行目標と従来の政治目標との差について検討し,その差をオンオフギャップと呼ぶ。
  論文  参考訳（メタデータ） (2024-02-19T10:42:34Z)
• Identifying Policy Gradient Subspaces [42.75990181248372]
  ポリシー勾配法は、複雑な連続制御タスクを解く大きな可能性を秘めている。 最近の研究は、勾配が低次元でゆっくりと変化する部分空間にあるという事実を活用することで教師あり学習を加速できることを示している。
  論文  参考訳（メタデータ） (2024-01-12T14:40:55Z)
• Gradient Informed Proximal Policy Optimization [35.22712034665224]
  本稿では,PPOアルゴリズムと差別化可能な環境からの解析的勾配を統合した新しいポリシー学習手法を提案する。 アルファ値を適応的に修正することにより、学習中の分析的方針勾配の影響を効果的に管理できる。 提案手法は, 関数最適化, 物理シミュレーション, 交通制御環境など, 様々なシナリオにおいて, ベースラインアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-12-14T07:50:21Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Bag of Tricks for Natural Policy Gradient Reinforcement Learning [87.54231228860495]
  我々は,自然政策勾配強化学習のパフォーマンスに影響を及ぼす戦略を実装し,比較した。 提案されたパフォーマンス最適化戦略の収集は、MuJuCoコントロールベンチマークにおいて、結果を86%から181%改善することができる。
  論文  参考訳（メタデータ） (2022-01-22T17:44:19Z)
• A Study of Policy Gradient on a Class of Exactly Solvable Models [35.90565839381652]
  我々は、厳密な解決可能なPOMDPの特別なクラスに対して、ポリシーパラメータの進化を連続状態マルコフ連鎖として検討する。 我々のアプローチはランダムウォーク理論、特にアフィンワイル群に大きく依存している。 我々は,政策勾配の確率収束を,値関数の局所的最大値に対して解析する。
  論文  参考訳（メタデータ） (2020-11-03T17:27:53Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。