Fugu-MT 論文翻訳(概要): Finite Horizon Q-learning: Stability, Convergence and Simulations

論文の概要: Finite Horizon Q-learning: Stability, Convergence and Simulations

arxiv url: http://arxiv.org/abs/2110.15093v1
Date: Wed, 27 Oct 2021 16:18:44 GMT
ステータス: 処理完了
システム内更新日: 2021-10-31 06:53:32.047968
Title: Finite Horizon Q-learning: Stability, Convergence and Simulations
Title（参考訳）: 有限水平Q-ラーニング:安定性,収束性,シミュレーション
Authors: Vivek VP, Dr.Shalabh Bhatnagar
Abstract要約: 有限地平面マルコフ決定過程(MDP)のためのQ-ラーニングアルゴリズムのバージョンを開発する。有限地平線Q-ラーニングの安定性と収束に関する解析は、常微分方程式(O.D.E)法に基づいている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Q-learning is a popular reinforcement learning algorithm. This algorithm has however been studied and analysed mainly in the infinite horizon setting. There are several important applications which can be modeled in the framework of finite horizon Markov decision processes. We develop a version of Q-learning algorithm for finite horizon Markov decision processes (MDP) and provide a full proof of its stability and convergence. Our analysis of stability and convergence of finite horizon Q-learning is based entirely on the ordinary differential equations (O.D.E) method. We also demonstrate the performance of our algorithm on a setting of random MDP.
Abstract（参考訳）: Q-learningは一般的な強化学習アルゴリズムである。しかし、このアルゴリズムは主に無限地平線設定で研究され、分析されている。有限地平線マルコフ決定過程の枠組みでモデル化できるいくつかの重要な応用がある。有限地平面マルコフ決定過程(MDP)のためのQ-ラーニングアルゴリズムのバージョンを開発し、その安定性と収束性の完全な証明を提供する。有限地平線q-ラーニングの安定性と収束性の解析は、常微分方程式(o.d.e)法に基づく。また、ランダムなMDPの設定において、アルゴリズムの性能を実証する。

関連論文リスト

Two-Step Q-Learning [0.0]
そこで本研究では,重要でない2段階のQ-ラーニングアルゴリズムを提案する。数値実験により、2段階のQ-ラーニングとそのスムーズな変形の優れた性能が示された。
論文参考訳（メタデータ） (2024-07-02T15:39:00Z)
Unified ODE Analysis of Smooth Q-Learning Algorithms [5.152147416671501]
近年,Q-ラーニングのためのコンバージェンス解析をスイッチングシステムフレームワークを用いて導入している。スイッチングシステムアプローチを改善するために,より汎用的で統一的な収束解析を提案する。
論文参考訳（メタデータ） (2024-04-20T01:16:27Z)
Finite-Time Error Analysis of Soft Q-Learning: Switching System Approach [4.36117236405564]
ソフトQラーニングは、エントロピー正規化マルコフ決定問題を解くために設計されたQラーニングのバリエーションである。本稿では,ソフトQ-ラーニングアルゴリズムの有限時間制御理論解析を新規かつ統一的に提供することを目的とする。
論文参考訳（メタデータ） (2024-03-11T01:36:37Z)
Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-26T18:23:21Z)
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
論文参考訳（メタデータ） (2023-07-07T02:40:09Z)
An Analysis of Quantile Temporal-Difference Learning [53.36758478669685]
量子時間差学習(QTD)は、強化学習の大規模応用において重要な要素であることが証明されている。古典的なTD学習とは異なり、QTD更新は縮小写像を近似せず、非常に非線形であり、複数の固定点を持つ。本稿では,確率 1 の動的プログラミング手順の関連ファミリの固定点への収束の証明である。
論文参考訳（メタデータ） (2023-01-11T13:41:56Z)
Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
論文参考訳（メタデータ） (2021-02-12T14:22:05Z)
Hamilton-Jacobi Deep Q-Learning for Deterministic Continuous-Time Systems with Lipschitz Continuous Controls [2.922007656878633]
リプシッツ連続制御を用いた連続時間決定論的最適制御問題に対するQ-learningアルゴリズムを提案する。 HJB方程式の新たな半離散バージョンが提案され、離散時間で収集されたデータを用いて、システムの力学を離散化したり近似したりすることなく、Q-ラーニングアルゴリズムを設計する。
論文参考訳（メタデータ） (2020-10-27T06:11:04Z)
Momentum Q-learning with Finite-Sample Convergence Guarantee [49.38471009162477]
本稿では,有限サンプル保証を用いたモーメントに基づくQ-ラーニングアルゴリズムのクラスを解析する。線形関数近似とマルコフサンプリングによるMomentumQの収束保証を確立する。提案したMomentumQが他のモーメントベースのQ-ラーニングアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2020-07-30T12:27:03Z)
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。