論文の概要: Quasi-Newton Trust Region Policy Optimization

• arxiv url: http://arxiv.org/abs/1912.11912v1
• Date: Thu, 26 Dec 2019 18:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-10 08:11:57.138278
• Title: Quasi-Newton Trust Region Policy Optimization
• Title（参考訳）: 準ニュートン信頼地域政策最適化
• Authors: Devesh Jha, Arvind Raghunathan, Diego Romeres
• Abstract要約: ヘッセン語に対する準ニュートン近似を用いた政策最適化のための信頼領域法を提案する。 勾配降下は、連続的な制御を伴う強化学習タスクのデファクトアルゴリズムである。
• 参考スコア（独自算出の注目度）: 5.9999375710781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a trust region method for policy optimization that employs Quasi-Newton approximation for the Hessian, called Quasi-Newton Trust Region Policy Optimization QNTRPO. Gradient descent is the de facto algorithm for reinforcement learning tasks with continuous controls. The algorithm has achieved state-of-the-art performance when used in reinforcement learning across a wide range of tasks. However, the algorithm suffers from a number of drawbacks including: lack of stepsize selection criterion, and slow convergence. We investigate the use of a trust region method using dogleg step and a Quasi-Newton approximation for the Hessian for policy optimization. We demonstrate through numerical experiments over a wide range of challenging continuous control tasks that our particular choice is efficient in terms of number of samples and improves performance
• Abstract（参考訳）: 本稿では,ヘシアンに対して準ニュートン近似を用いた信頼領域最適化手法である準ニュートン信頼領域最適化qntrpoを提案する。 勾配降下は連続制御による強化学習タスクのためのデファクトアルゴリズムである。 このアルゴリズムは、幅広いタスクにわたる強化学習において、最先端のパフォーマンスを達成した。 しかし、アルゴリズムには多くの欠点がある: ステップの欠如 選択基準の欠如、収束の遅さ。 政策最適化のために,ドレグステップと準ニュートン近似を用いた信頼領域法について検討した。 我々は, サンプル数の観点から, 選択が効率的で, 性能が向上する, 幅広い難解な連続制御タスクについて, 数値実験により実証する。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Constrained Reinforcement Learning via Dissipative Saddle Flow Dynamics [5.270497591225775]
  制約強化学習(C-RL)において、エージェントは期待される累積報酬を最大化するポリシーを環境から学ぼうとする。 サンプルベース原始双対法に根ざしたいくつかのアルゴリズムが、政策空間においてこの問題を解決するために最近提案されている。 本稿では,制約付きRLに対して,これらの制約に悩まされない新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-03T01:54:55Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Policy Optimization for Stochastic Shortest Path [43.2288319750466]
  最短経路(SSP)問題に対する政策最適化について検討する。 本研究では,有限ホライゾンモデルを厳密に一般化した目標指向強化学習モデルを提案する。 ほとんどの設定において、我々のアルゴリズムは、ほぼ最適の後悔境界に達することが示されている。
  論文  参考訳（メタデータ） (2022-02-07T16:25:14Z)
• Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
  勾配情報のない制約のない最適化問題を考察する。 適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。 そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
  論文  参考訳（メタデータ） (2021-09-24T21:49:25Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• An Efficient Algorithm for Deep Stochastic Contextual Bandits [10.298368632706817]
  コンテキスト境界の問題では、エージェントは特定の観察されたコンテキストに基づいてアクションを選択し、反復よりも報酬を最大化します。 近年、ディープニューラルネットワーク(DNN)を用いて行動に対する期待される報酬を予測する研究がいくつか行われ、勾配に基づく手法で訓練されている。
  論文  参考訳（メタデータ） (2021-04-12T16:34:43Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。