論文の概要: Learning in complex action spaces without policy gradients

• arxiv url: http://arxiv.org/abs/2410.06317v1
• Date: Tue, 8 Oct 2024 19:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 06:29:16.960527
• Title: Learning in complex action spaces without policy gradients
• Title（参考訳）: ポリシー勾配のない複素作用空間での学習
• Authors: Arash Tavakoli, Sina Ghiassian, Nemanja Rakićević,
• Abstract要約: そこで本研究では,QMLEを制御可能な計算コストで複雑な行動空間に適用できることを示す。 QMLEは、最先端の方法と比較しても、DeepMind Control Suite上で強力なパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 8.81420331399616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional wisdom suggests that policy gradient methods are better suited to complex action spaces than action-value methods. However, foundational studies have shown equivalences between these paradigms in small and finite action spaces (O'Donoghue et al., 2017; Schulman et al., 2017a). This raises the question of why their computational applicability and performance diverge as the complexity of the action space increases. We hypothesize that the apparent superiority of policy gradients in such settings stems not from intrinsic qualities of the paradigm, but from universal principles that can also be applied to action-value methods to serve similar functionality. We identify three such principles and provide a framework for incorporating them into action-value methods. To support our hypothesis, we instantiate this framework in what we term QMLE, for Q-learning with maximum likelihood estimation. Our results show that QMLE can be applied to complex action spaces with a controllable computational cost that is comparable to that of policy gradient methods, all without using policy gradients. Furthermore, QMLE demonstrates strong performance on the DeepMind Control Suite, even when compared to the state-of-the-art methods such as DMPO and D4PG.
• Abstract（参考訳）: 従来の知恵は、ポリシー勾配法はアクション値法よりも複雑なアクション空間に適していることを示唆している。 しかし、基礎研究により、これらのパラダイムは小さな作用空間と有限作用空間(O'Donoghue et al , 2017; Schulman et al , 2017a)で等価であることが示されている。 このことは、アクション空間の複雑さが増大するにつれて、その計算適用性と性能がなぜばらばらになるのかという問題を提起する。 このような設定における政策勾配の明らかな優越性は、パラダイムの本質的な性質ではなく、同様の機能を実現するためにアクション・バリュー・メソッドにも適用可能な普遍的な原則に由来する、という仮説を立てる。 このような原則を3つ同定し,アクション・バリュー・メソッドに組み込むためのフレームワークを提供する。 仮説を支持するため,このフレームワークをQMLE (Q-learning) と呼ぶ,最大推定可能なQ-Learning(Q-Learning) にインスタンス化する。 以上の結果から,QMLEはポリシ勾配法に匹敵する計算コストで複雑な行動空間に適用可能であることが示唆された。 さらに、QMLEはDMPOやD4PGのような最先端の手法と比較しても、DeepMind Control Suiteで強い性能を示す。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Improving Reward-Conditioned Policies for Multi-Armed Bandits using Normalized Weight Functions [8.90692770076582]
  最近提案された報酬条件付き政策(RCP)は、強化学習において魅力的な代替手段を提供する。 従来の手法と比較して,RCPは収束が遅く,収束時に期待される報酬が劣っていることを示す。 我々は、この手法を一般化された余分化と呼び、その利点は、低い報酬に条件付けられた政策に対する負の重み付けが、結果の政策をそれらとより区別することができることである。
  論文  参考訳（メタデータ） (2024-06-16T03:43:55Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Actor-Critic Reinforcement Learning with Phased Actor [10.577516871906816]
  本稿では,政策勾配推定を改善するために,PAAC法における新しい段階的アクターを提案する。 PAACはアクターアップデートで$Q$とTDエラーの両方を処理している。 その結果,PAACは総コスト,学習ばらつき,堅牢性,学習速度,成功率などによって,大幅な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-04-18T01:27:31Z)
• Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
  我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。 結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
  論文  参考訳（メタデータ） (2023-01-31T12:40:50Z)
• Policy Gradient Method For Robust Reinforcement Learning [23.62008807533706]
  本稿では,モデルミスマッチ下での頑健な強化学習のための大域的最適性保証と複雑性解析を用いた最初のポリシー勾配法を開発した。 提案手法は, 直接的政策パラメータ化の下で, 大域的最適勾配に収束することを示す。 次に、我々の方法論を一般のモデルフリー設定に拡張し、ロバストなパラメトリックポリシークラスと値関数を設計する。
  論文  参考訳（メタデータ） (2022-05-15T17:35:17Z)
• Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients [51.749831824106046]
  本稿では,オンライン政策グラデーション手法のサンプル非効率性に効果的かつ効率的な手法として,セミ・オン・ポリティ(SOP)トレーニングを導入する。 提案手法は,様々なSMACタスクにおいて,最先端の値ベース手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-27T19:37:01Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)
• Reward-Conditioned Policies [100.64167842905069]
  模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。