Fugu-MT 論文翻訳(概要): S$^2$AC: Energy-Based Reinforcement Learning with Stein Soft Actor Critic

論文の概要: S$^2$AC: Energy-Based Reinforcement Learning with Stein Soft Actor Critic

arxiv url: http://arxiv.org/abs/2405.00987v1
Date: Thu, 2 May 2024 03:49:47 GMT
ステータス: 処理完了
システム内更新日: 2024-05-03 17:54:29.174065
Title: S$^2$AC: Energy-Based Reinforcement Learning with Stein Soft Actor Critic
Title（参考訳）: S$^2$AC:ステインソフトアクターによるエネルギーベース強化学習
Authors: Safa Messaoud, Billel Mokeddem, Zhenghai Xue, Linsey Pang, Bo An, Haipeng Chen, Sanjay Chawla,
Abstract要約: 本稿では,効率を損なうことなく表現的政策を学習するために,Stein Soft Actor-Critic (S$2$AC)を提案する。 S$2$AC はパラメータ化されたスタイン変分勾配 Descent (SVGD) を基本方針とする。我々の公式は計算的に効率的であり、一階微分やベクトル積にのみ依存する。
参考スコア（独自算出の注目度）: 24.11000329935582
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning expressive stochastic policies instead of deterministic ones has been proposed to achieve better stability, sample complexity, and robustness. Notably, in Maximum Entropy Reinforcement Learning (MaxEnt RL), the policy is modeled as an expressive Energy-Based Model (EBM) over the Q-values. However, this formulation requires the estimation of the entropy of such EBMs, which is an open problem. To address this, previous MaxEnt RL methods either implicitly estimate the entropy, resulting in high computational complexity and variance (SQL), or follow a variational inference procedure that fits simplified actor distributions (e.g., Gaussian) for tractability (SAC). We propose Stein Soft Actor-Critic (S$^2$AC), a MaxEnt RL algorithm that learns expressive policies without compromising efficiency. Specifically, S$^2$AC uses parameterized Stein Variational Gradient Descent (SVGD) as the underlying policy. We derive a closed-form expression of the entropy of such policies. Our formula is computationally efficient and only depends on first-order derivatives and vector products. Empirical results show that S$^2$AC yields more optimal solutions to the MaxEnt objective than SQL and SAC in the multi-goal environment, and outperforms SAC and SQL on the MuJoCo benchmark. Our code is available at: https://github.com/SafaMessaoud/S2AC-Energy-Based-RL-with-Stein-Soft-Actor-Critic
Abstract（参考訳）: より優れた安定性、サンプルの複雑さ、堅牢性を達成するために、決定論的ポリシーの代わりに表現的確率的ポリシーを学ぶことが提案されている。特に、最大エントロピー強化学習(MaxEnt RL)では、Q値に対する表現型エネルギーベースモデル(EBM)としてモデル化されている。しかし、この定式化は、開問題であるそのようなEMMのエントロピーを推定する必要がある。これを解決するために、以前のMaxEnt RLメソッドは暗黙的にエントロピーを推定し、高い計算複雑性と分散(SQL)をもたらすか、あるいは単純なアクター分布(例えばガウス的)をトラクタビリティ(SAC)に適合させる変分推論手順に従う。我々は,効率を損なうことなく表現的ポリシーを学習するMaxEnt RLアルゴリズムであるStein Soft Actor-Critic (S$^2$AC)を提案する。具体的には、S$^2$ACはパラメータ化されたスタイン変分勾配 Descent (SVGD) を基本方針とする。このような政策のエントロピーの閉形式表現を導出する。我々の公式は計算的に効率的であり、一階微分やベクトル積にのみ依存する。実証的な結果から、S$^2$ACは、マルチゴール環境でのSQLやSACよりもMaxEntの目的に対する最適なソリューションとなり、MuJoCoベンチマークではSACやSQLよりも優れています。 https://github.com/SafaMessaoud/S2AC-Energy-Based-RL-with-Stein-Soft-Actor-Critic

関連論文リスト

Oracle-Efficient Reinforcement Learning for Max Value Ensembles [7.404901768256101]
大または無限の状態空間における強化学習(RL)は、理論上、実験的に困難である。この作業では、$textitmax-following Policy$と競合することを目指しています。我々の主な成果は、構成ポリシーのみにアクセスすると、最大フォローポリシーと競合する効率的なアルゴリズムである。
論文参考訳（メタデータ） (2024-05-27T01:08:23Z)
Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文参考訳（メタデータ） (2024-05-16T17:58:44Z)
Sharper Model-free Reinforcement Learning for Average-reward Markov Decision Processes [21.77276136591518]
我々はマルコフ決定過程(MDPs)のための証明可能なモデルフリー強化学習(RL)アルゴリズムを開発した。シミュレータ設定では,$widetildeO left(fracSAmathrmsp(h*)epsilon2+fracS2Amathrmsp(h*)epsilon2right)$サンプルを用いて,$epsilon$-optimal Policyを求める。
論文参考訳（メタデータ） (2023-06-28T17:43:19Z)
Improved Sample Complexity Bounds for Distributionally Robust Reinforcement Learning [3.222802562733787]
トレーニング環境とテスト環境のパラメータミスマッチに対して頑健な制御ポリシーを学習することの問題点を考察する。本研究では,4つの異なる発散によって特定される不確実性集合に対して,ロバスト位相値学習(RPVL)アルゴリズムを提案する。提案アルゴリズムは,既存の結果より一様によいサンプル複雑性を$tildemathcalO(|mathcalSmathcalA| H5)$とする。
論文参考訳（メタデータ） (2023-03-05T21:47:08Z)
Extreme Q-Learning: MaxEnt RL without Entropy [88.97516083146371]
現代のDeep Reinforcement Learning (RL)アルゴリズムは、連続的な領域での計算が困難である最大Q値の推定を必要とする。エクストリーム値理論(EVT)を用いた最大値を直接モデル化するオンラインおよびオフラインRLの新しい更新ルールを導入する。 EVTを使用することで、Extreme Q-Learningフレームワークをオンラインに導き、その結果、初めてオフラインのMaxEnt Q-learningアルゴリズムをオフラインにします。
論文参考訳（メタデータ） (2023-01-05T23:14:38Z)
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-23T09:03:24Z)
Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes [61.11090361892306]
Reward-free reinforcement learning (RL) は、エージェントが探索中に報酬関数にアクセスできないような環境を考える。この分離は線形MDPの設定には存在しないことを示す。我々は$d$次元線形 MDP における報酬のない RL に対する計算効率の良いアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-01-26T22:09:59Z)
An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
環境からの状態遷移を観察するのは費用がかかる。標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
論文参考訳（メタデータ） (2021-12-09T23:13:57Z)
Implicitly Regularized RL with Implicit Q-Values [42.87920755961722]
Q$関数は多くの強化学習(RL)アルゴリズムにおいて中心的な量であり、RLエージェントは(ソフト)グレーディポリシーに従って振る舞う。対数政治と値関数の和として、暗黙的に$Q$-関数をパラメータ化することを提案する。我々は,大規模アクション空間に適した実用的な非政治的深部RLアルゴリズムを導出し,ポリシーと$Q$値とのソフトマックス関係を強制する。
論文参考訳（メタデータ） (2021-08-16T12:20:47Z)
Maximum Entropy Reinforcement Learning with Mixture Policies [54.291331971813364]
MaxEntアルゴリズムを用いて混合エントロピーのトラクタブル近似を構築する。我々は、それが限界エントロピーの合計と密接に関連していることを示しています。我々は, 混合ポリシーケースに対するsoft actor-critic (sac) のアルゴリズム的変種を導出し, 一連の連続制御タスクで評価する。
論文参考訳（メタデータ） (2021-03-18T11:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。