論文の概要: Logistic Q-Learning
- arxiv url: http://arxiv.org/abs/2010.11151v2
- Date: Thu, 25 Feb 2021 21:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 22:31:06.998909
- Title: Logistic Q-Learning
- Title（参考訳）: ロジスティックq学習
- Authors: Joan Bas-Serrano, Sebastian Curi, Andreas Krause, Gergely Neu
- Abstract要約: MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
- 参考スコア（独自算出の注目度）: 87.00813469969167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new reinforcement learning algorithm derived from a regularized
linear-programming formulation of optimal control in MDPs. The method is
closely related to the classic Relative Entropy Policy Search (REPS) algorithm
of Peters et al. (2010), with the key difference that our method introduces a
Q-function that enables efficient exact model-free implementation. The main
feature of our algorithm (called QREPS) is a convex loss function for policy
evaluation that serves as a theoretically sound alternative to the widely used
squared Bellman error. We provide a practical saddle-point optimization method
for minimizing this loss function and provide an error-propagation analysis
that relates the quality of the individual updates to the performance of the
output policy. Finally, we demonstrate the effectiveness of our method on a
range of benchmark problems.
- Abstract（参考訳）: MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
本手法はピーターズら(2010)の古典的相対エントロピーポリシー探索(REPS)アルゴリズムと密接に関連しており,本手法がQ-関数を導入し,正確なモデルフリー実装を実現している。
我々のアルゴリズム(QREPSと呼ばれる)の主な特徴は、広く使われているベルマン誤差に代えて理論的に音声として機能する政策評価のための凸損失関数である。
この損失関数を最小化する実用的なサドルポイント最適化方法と、個々の更新の品質と出力ポリシーの性能とを関連づけたエラー伝播解析を提供する。
最後に,ベンチマーク問題に対する本手法の有効性を示す。
関連論文リスト
- Regularized Q-Learning with Linear Function Approximation [2.765106384328772]
線形汎関数近似を用いた正規化Q-ラーニングの2段階最適化について検討する。
特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
論文 参考訳（メタデータ） (2024-01-26T20:45:40Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-10-04T17:13:45Z) - Proximal Point Imitation Learning [48.50107891696562]
我々は、無限地平線模倣学習のための厳密な効率保証を備えた新しいアルゴリズムを開発した。
我々は、最適化、特に近点法(PPM)と双対平滑化から古典的ツールを活用する。
線形関数とニューラルネットワーク関数の近似の双方に対して、説得力のある経験的性能を実現する。
論文 参考訳（メタデータ） (2022-09-22T12:40:21Z) - Bellman Residual Orthogonalization for Offline Reinforcement Learning [53.17258888552998]
我々はベルマン方程式を近似した新しい強化学習原理を導入し、その妥当性をテスト関数空間にのみ適用する。
我々は、この原則を利用して、政策外の評価のための信頼区間を導出するとともに、所定の政策クラス内の政策を最適化する。
論文 参考訳（メタデータ） (2022-03-24T01:04:17Z) - Stochastic convex optimization for provably efficient apprenticeship
learning [1.0609815608017066]
コスト関数が不明な大規模マルコフ決定プロセス(MDP)について検討する。
擬似学習の課題に対処するために凸最適化ツールを用いており、これは、限られた専門家による実証からポリシーを学習するものである。
論文 参考訳（メタデータ） (2021-12-31T19:47:57Z) - Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
線形関数近似を用いた強化学習における非政治的評価問題について検討する。
本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
論文 参考訳（メタデータ） (2021-06-22T17:58:46Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Recurrent Model Predictive Control [19.047059454849897]
一般非線形有限水平最適制御問題を解くために,リカレントモデル予測制御(RMPC)と呼ばれるオフラインアルゴリズムを提案する。
提案アルゴリズムは,システム状態と参照値を直接制御入力にマッピングする最適ポリシを近似するために,繰り返し関数を用いる。
論文 参考訳（メタデータ） (2021-02-23T15:01:36Z) - Adaptive Approximate Policy Iteration [22.915651391812187]
均一なエルゴディックMDPの学習を継続する学習方法として,$tildeO(T2/3)$ regret bound for undiscounted, continuing learning in uniformly ergodic MDPを提案する。
これは、関数近似を持つ平均逆ケースに対する$tildeO(T3/4)$の最良の既存の境界よりも改善されている。
論文 参考訳（メタデータ） (2020-02-08T02:27:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。