論文の概要: Optimization Issues in KL-Constrained Approximate Policy Iteration

• arxiv url: http://arxiv.org/abs/2102.06234v1
• Date: Thu, 11 Feb 2021 19:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:21:38.798930
• Title: Optimization Issues in KL-Constrained Approximate Policy Iteration
• Title（参考訳）: KL制約近似政策イテレーションにおける最適化問題
• Authors: Nevena Lazi\'c, Botao Hao, Yasin Abbasi-Yadkori, Dale Schuurmans, Csaba Szepesv\'ari
• Abstract要約: 多くの強化学習アルゴリズムは、近似ポリシー反復(API)のバージョンと見なすことができる。 標準APIはしばしば動作が悪いが、KL-divergenceによる各ポリシー更新を以前のポリシーに正規化することで学習が安定化できることが示されている。 TRPO、MPO、VMPOなどの一般的な実用的なアルゴリズムは、連続ポリシーのKL分割に関する制約によって正規化を置き換える。
• 参考スコア（独自算出の注目度）: 48.24321346619156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many reinforcement learning algorithms can be seen as versions of approximate policy iteration (API). While standard API often performs poorly, it has been shown that learning can be stabilized by regularizing each policy update by the KL-divergence to the previous policy. Popular practical algorithms such as TRPO, MPO, and VMPO replace regularization by a constraint on KL-divergence of consecutive policies, arguing that this is easier to implement and tune. In this work, we study this implementation choice in more detail. We compare the use of KL divergence as a constraint vs. as a regularizer, and point out several optimization issues with the widely-used constrained approach. We show that the constrained algorithm is not guaranteed to converge even on simple problem instances where the constrained problem can be solved exactly, and in fact incurs linear expected regret. With approximate implementation using softmax policies, we show that regularization can improve the optimization landscape of the original objective. We demonstrate these issues empirically on several bandit and RL environments.
• Abstract（参考訳）: 多くの強化学習アルゴリズムは、近似ポリシー反復(API)のバージョンと見なすことができる。 標準APIはしばしば動作が悪いが、KL-divergenceによる各ポリシー更新を以前のポリシーに正規化することで学習が安定化できることが示されている。 TRPO、MPO、VMPOといった一般的な実践的アルゴリズムは、連続的なポリシーのKL分割の制約によって正規化を置き換える。 本研究では,この実装選択をより詳細に検討する。 制約としてklダイバージェンスの使用と正規化としての使用を比較し、広く使われている制約付きアプローチの最適化問題をいくつか指摘する。 制約付きアルゴリズムは、制約付き問題を正確に解くことができる単純な問題例でも収束することが保証されておらず、実際には線形期待の後悔をもたらす。 Softmaxポリシーを使用した近似実装により、正規化は元の目的の最適化のランドスケープを改善できることを示しています。 これらの問題をいくつかのバンディットおよびRL環境で実証する。

関連論文リスト

• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• A policy gradient approach for Finite Horizon Constrained Markov Decision Processes [4.128216503196621]
  固定時間(有限時間)後に地平線が終了する有限水平設定における制約付きRLのアルゴリズムを提案する。 我々の知る限り、制約付き有限地平線設定のための最初のポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-10T09:52:02Z)
• Policy Optimization for Stochastic Shortest Path [43.2288319750466]
  最短経路(SSP)問題に対する政策最適化について検討する。 本研究では,有限ホライゾンモデルを厳密に一般化した目標指向強化学習モデルを提案する。 ほとんどの設定において、我々のアルゴリズムは、ほぼ最適の後悔境界に達することが示されている。
  論文  参考訳（メタデータ） (2022-02-07T16:25:14Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences [33.471102483095315]
  パラメータ化ポリシとボルツマン分布のKL分散を作用値上で低減する際の近似グリード化について検討する。 逆KLは、より強力な政策改善保証を有するが、前方KLの削減は、より悪い政策をもたらす可能性があることを示す。 離散アクション設定やベンチマーク問題に有意な差は見られなかった。
  論文  参考訳（メタデータ） (2021-07-17T17:09:18Z)
• Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning [11.82492300303637]
  本稿では,学習中の単調な政策改善を確実にする,新しい値ベース強化学習(RL)アルゴリズムを提案する。 提案アルゴリズムは,古典的操作問題と高次元アタリゲームの両方において,性能と安定性を両立させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-13T01:03:10Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Policy Optimization as Online Learning with Mediator Feedback [46.845765216238135]
  ポリシー最適化(PO)は、継続的制御タスクに対処するための広く使われているアプローチである。 本稿では、政策分野におけるオンライン学習問題としてpoを枠組みとする仲介者フィードバックの概念を紹介する。 本稿では,再帰的最小化のために,RIST (Multiple Importance Smpling with Truncation) を用いたアルゴリズム RANDomized-Exploration Policy Optimization を提案する。
  論文  参考訳（メタデータ） (2020-12-15T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。