論文の概要: Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients

• arxiv url: http://arxiv.org/abs/2409.04971v1
• Date: Sun, 8 Sep 2024 04:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 19:50:12.224881
• Title: Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients
• Title（参考訳）: 入射再パラメータ化勾配によるベータポリシを持つソフトアクタクリティカル
• Authors: Luca Della Libera,
• Abstract要約: ソフトアクター批判(SAC)は、政策最適化と非政治学習を組み合わせることで、サンプル効率を低下させる。 勾配がreパラメータ化トリックによって計算できる分布に限られる。 シミュレーションロボットの移動環境におけるベータポリシーにより,SACの訓練にこの手法を拡張した。 実験結果から,ベータポリシが通常のポリシよりも優れ,通常のポリシと同等であることから,ベータポリシが有効な代替手段であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep reinforcement learning have achieved impressive results in a wide range of complex tasks, but poor sample efficiency remains a major obstacle to real-world deployment. Soft actor-critic (SAC) mitigates this problem by combining stochastic policy optimization and off-policy learning, but its applicability is restricted to distributions whose gradients can be computed through the reparameterization trick. This limitation excludes several important examples such as the beta distribution, which was shown to improve the convergence rate of actor-critic algorithms in high-dimensional continuous control problems thanks to its bounded support. To address this issue, we investigate the use of implicit reparameterization, a powerful technique that extends the class of reparameterizable distributions. In particular, we use implicit reparameterization gradients to train SAC with the beta policy on simulated robot locomotion environments and compare its performance with common baselines. Experimental results show that the beta policy is a viable alternative, as it outperforms the normal policy and is on par with the squashed normal policy, which is the go-to choice for SAC. The code is available at https://github.com/lucadellalib/sac-beta.
• Abstract（参考訳）: 深層強化学習の最近の進歩は、様々な複雑なタスクにおいて顕著な成果を上げているが、サンプル効率の低さは、現実世界の展開にとって大きな障害となっている。 ソフトアクター批判(SAC)は確率的ポリシー最適化と非政治学習を組み合わせることでこの問題を軽減するが、その適用性は再パラメータ化トリックによって勾配を計算できる分布に制限される。 この制限は、ベータ分布のようないくつかの重要な例を除外しており、これは、その有界サポートにより高次元連続制御問題におけるアクター批判アルゴリズムの収束率を改善することが示されている。 この問題に対処するために,再パラメータ化可能な分布のクラスを拡張する強力な手法である暗黙的再パラメータ化(暗黙的再パラメータ化)の使用について検討する。 特に、暗黙的再パラメータ化勾配を用いて、シミュレーションされたロボットの移動環境におけるベータポリシーでSACを訓練し、その性能を共通のベースラインと比較する。 実験の結果、ベータポリシーは通常のポリシーよりも優れており、SACの選択肢である正常なポリシーと同等であることが明らかとなった。 コードはhttps://github.com/lucadellalib/sac-beta.comで公開されている。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
  ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。 特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。 また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:39:06Z)
• On the Hidden Biases of Policy Mirror Ascent in Continuous Action Spaces [23.186300629667134]
  重み付きパラメータ化の下でのポリシー勾配アルゴリズムの収束性について検討する。 我々の主要な理論的貢献は、このスキームが一定のステップとバッチサイズに収束することである。
  論文  参考訳（メタデータ） (2022-01-28T18:54:30Z)
• Proximal Policy Optimization with Continuous Bounded Action Space via the Beta Distribution [0.0]
  本研究では,このベータポリシが,OpenAIジムの2つの連続制御タスクに対して,プロキシポリシー最適化アルゴリズムによってトレーニングされた場合の動作について検討する。 両方のタスクにおいて、ベータポリシーはエージェントの最終報酬の観点からはガウスポリシーよりも優れており、トレーニングプロセスの安定性とより高速な収束を示す。
  論文  参考訳（メタデータ） (2021-11-03T13:13:00Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient [34.16700176918835]
  オフライン強化学習は、より良いデータ効率を約束する。 現在の非政治政策勾配法は、高いバイアスまたは高い分散に悩まされ、しばしば信頼できない見積もりを提供する。 閉形式で解ける非パラメトリックベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:40:06Z)
• DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
  過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。 第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。 第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-26T20:21:12Z)
• Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
  政策評価は強化学習(RL)における重要なプロセスである 我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
  論文  参考訳（メタデータ） (2020-02-17T13:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。