論文の概要: Augmented Bayesian Policy Search

• arxiv url: http://arxiv.org/abs/2407.04864v1
• Date: Fri, 5 Jul 2024 20:56:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 22:16:57.720372
• Title: Augmented Bayesian Policy Search
• Title（参考訳）: Augmented Bayesian Policy Search
• Authors: Mahdi Kallel, Debabrota Basu, Riad Akrour, Carlo D'Eramo,
• Abstract要約: 実際には、探索は主に決定論的な政策によって行われる。 第一次ベイズ最適化(BO)法は、決定論的ポリシーを用いた探索の原則的な方法を提供する。 確率モデルに新しい平均関数を導入する。 これにより、アクション値関数を持つBOメソッドが増大する。
• 参考スコア（独自算出の注目度）: 14.292685001631945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deterministic policies are often preferred over stochastic ones when implemented on physical systems. They can prevent erratic and harmful behaviors while being easier to implement and interpret. However, in practice, exploration is largely performed by stochastic policies. First-order Bayesian Optimization (BO) methods offer a principled way of performing exploration using deterministic policies. This is done through a learned probabilistic model of the objective function and its gradient. Nonetheless, such approaches treat policy search as a black-box problem, and thus, neglect the reinforcement learning nature of the problem. In this work, we leverage the performance difference lemma to introduce a novel mean function for the probabilistic model. This results in augmenting BO methods with the action-value function. Hence, we call our method Augmented Bayesian Search~(ABS). Interestingly, this new mean function enhances the posterior gradient with the deterministic policy gradient, effectively bridging the gap between BO and policy gradient methods. The resulting algorithm combines the convenience of the direct policy search with the scalability of reinforcement learning. We validate ABS on high-dimensional locomotion problems and demonstrate competitive performance compared to existing direct policy search schemes.
• Abstract（参考訳）: 決定論的なポリシーは、物理システムに実装される場合、確率的なポリシーよりも好まれる。 それらは、実装や解釈が容易でありながら、不規則で有害な行動を防ぐことができる。 しかし実際には、探索は主に確率的な政策によって行われる。 第一次ベイズ最適化(BO)法は、決定論的ポリシーを用いた探索の原則的な方法を提供する。 これは、目的関数とその勾配の学習された確率モデルを通して行われる。 それにもかかわらず、このようなアプローチは、政策探索をブラックボックス問題として扱い、そのため、問題の強化学習の性質を無視する。 本研究では,確率モデルに新たな平均関数を導入するために,性能差補題を利用する。 これにより、アクション値関数を持つBOメソッドが増大する。 したがって、この手法をAugmented Bayesian Search~ (ABS)と呼ぶ。 興味深いことに、この新しい平均関数は、決定論的政策勾配による後勾配を高め、BOと政策勾配のギャップを効果的に埋める。 得られたアルゴリズムは、直接ポリシー探索の利便性と強化学習のスケーラビリティを組み合わせたものである。 我々は,高次元移動問題に対するABSの有効性を検証し,既存の直接ポリシー探索方式と比較して競争性能を実証する。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Constrained Reinforcement Learning via Dissipative Saddle Flow Dynamics [5.270497591225775]
  制約強化学習(C-RL)において、エージェントは期待される累積報酬を最大化するポリシーを環境から学ぼうとする。 サンプルベース原始双対法に根ざしたいくつかのアルゴリズムが、政策空間においてこの問題を解決するために最近提案されている。 本稿では,制約付きRLに対して,これらの制約に悩まされない新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-03T01:54:55Z)
• Sigmoidally Preconditioned Off-policy Learning:a new exploration method for reinforcement learning [14.991913317341417]
  政治以外のアクター・クリティカルアーキテクチャに着目し,P3O(Preconditioned Proximal Policy Optimization)と呼ばれる新しい手法を提案する。 P3Oは、保守政策反復(CPI)目標に事前条件を適用することにより、重要度サンプリングの高分散を制御できる。 その結果,P3Oはトレーニング過程においてPPOよりもCPI目標を最大化できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T09:38:04Z)
• Dimensionality Reduction and Prioritized Exploration for Policy Search [29.310742141970394]
  Black-boxポリシー最適化は、パラメータレベルでポリシーを探索し更新する強化学習アルゴリズムのクラスである。 本稿では,有効パラメータの探索を優先し,完全共分散行列更新に対処する新しい手法を提案する。 我々のアルゴリズムは最近の手法よりも速く学習し、最先端の結果を得るためにはサンプルを少なくする。
  論文  参考訳（メタデータ） (2022-03-09T15:17:09Z)
• Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies [5.543220407902113]
  直接ランダム検索は、決定論的ロールアウトを用いて直接最適化することにより、DRLポリシーを微調整するのに非常に効果的であることを示す。 その結果, 本手法は, テストした環境において, より一貫性があり, 高性能なエージェントが得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-12T20:12:46Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。