Fugu-MT 論文翻訳(概要): Finite-Time Analysis of Asynchronous Q-Learning with Discrete-Time Switching System Models

論文の概要: Finite-Time Analysis of Asynchronous Q-Learning with Discrete-Time Switching System Models

arxiv url: http://arxiv.org/abs/2102.08583v2
Date: Fri, 19 Feb 2021 15:52:19 GMT
ステータス: 処理完了
システム内更新日: 2021-02-22 13:41:28.641359
Title: Finite-Time Analysis of Asynchronous Q-Learning with Discrete-Time Switching System Models
Title（参考訳）: 離散時間切替システムモデルによる非同期Q-Learningの有限時間解析
Authors: Donghwan Lee
Abstract要約: 一定のステップサイズを持つQ学習を離散時間切替線形系として自然に定式化できることを実証する。主に制御フレームワークに基づくQ-ラーニングに関する新規かつ直感的な洞察を提供する。
参考スコア（独自算出の注目度）: 6.85316573653194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper develops a novel framework to analyze the convergence of Q-learning algorithm from a discrete-time switching system perspective. We prove that asynchronous Q-learning with a constant step-size can be naturally formulated as discrete-time stochastic switched linear systems. It offers novel and intuitive insights on Q-learning mainly based on control theoretic frameworks. For instance, the proposed analysis explains the overestimation phenomenon in Q-learning due to the maximization bias. Based on the control system theoretic argument and some nice structures of Q-learning, a new finite-time analysis of the Q-learning is given with a novel error bound.
Abstract（参考訳）: 本稿では、離散時間切替システムの観点からQ-ラーニングアルゴリズムの収束を解析するための新しいフレームワークを開発する。一定のステップサイズを持つ非同期q-learningを,離散時間確率的スイッチング線形系として自然に定式化できることを実証する。主に制御理論フレームワークに基づくQ-ラーニングに関する新規かつ直感的な洞察を提供する。例えば,本解析では,最大化バイアスによるq-learningの過推定現象を説明する。制御系理論的な議論とq-learningの優れた構造に基づき、新しい誤りバウンドを用いて、q-learningの新しい有限時間解析を行う。

関連論文リスト

Unified ODE Analysis of Smooth Q-Learning Algorithms [5.152147416671501]
近年,Q-ラーニングのためのコンバージェンス解析をスイッチングシステムフレームワークを用いて導入している。スイッチングシステムアプローチを改善するために,より汎用的で統一的な収束解析を提案する。
論文参考訳（メタデータ） (2024-04-20T01:16:27Z)
Finite-Time Error Analysis of Soft Q-Learning: Switching System Approach [4.36117236405564]
ソフトQラーニングは、エントロピー正規化マルコフ決定問題を解くために設計されたQラーニングのバリエーションである。本稿では,ソフトQ-ラーニングアルゴリズムの有限時間制御理論解析を新規かつ統一的に提供することを目的とする。
論文参考訳（メタデータ） (2024-03-11T01:36:37Z)
Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-26T18:23:21Z)
Finite-Time Analysis of Minimax Q-Learning for Two-Player Zero-Sum Markov Games: Switching System Approach [3.5823366350053325]
本稿では,2プレイヤーゼロサムマルコフゲームに適用したQ-ラーニングアルゴリズムの有限時間解析について検討する。ミニマックスQ-ラーニングのスイッチングシステムモデルと関連する値反復を用いる。
論文参考訳（メタデータ） (2023-06-09T06:39:37Z)
An Analysis of Quantile Temporal-Difference Learning [53.36758478669685]
量子時間差学習(QTD)は、強化学習の大規模応用において重要な要素であることが証明されている。古典的なTD学習とは異なり、QTD更新は縮小写像を近似せず、非常に非線形であり、複数の固定点を持つ。本稿では,確率 1 の動的プログラミング手順の関連ファミリの固定点への収束の証明である。
論文参考訳（メタデータ） (2023-01-11T13:41:56Z)
Sufficient Exploration for Convex Q-learning [10.75319149461189]
本稿では,マンヌの最適制御を線形プログラミング(LP)で定式化する。原始版はロジスティックQラーニングと呼ばれ、二重版は凸Qラーニングである。コンベックスQラーニングは,標準Qラーニングが分岐する場合に有効であることが示されている。
論文参考訳（メタデータ） (2022-10-17T20:22:12Z)
Finite-Time Analysis of Asynchronous Q-learning under Diminishing Step-Size from Control-Theoretic View [3.5823366350053325]
本稿ではマルコフ観測モデルに基づく非同期Q-ラーニングの新しい有限時間解析について検討する。特に、ステップサイズを小さくしたQラーニングの離散時間時間変化切替システムモデルを提案する。提案された分析は、さらなる洞察をもたらし、異なるシナリオをカバーし、分析のための新しい簡易テンプレートを提供する。
論文参考訳（メタデータ） (2022-07-25T14:15:55Z)
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
論文参考訳（メタデータ） (2021-10-16T01:47:41Z)
Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文参考訳（メタデータ） (2021-09-06T04:39:06Z)
Momentum Q-learning with Finite-Sample Convergence Guarantee [49.38471009162477]
本稿では,有限サンプル保証を用いたモーメントに基づくQ-ラーニングアルゴリズムのクラスを解析する。線形関数近似とマルコフサンプリングによるMomentumQの収束保証を確立する。提案したMomentumQが他のモーメントベースのQ-ラーニングアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2020-07-30T12:27:03Z)
Analysis of Q-learning with Adaptation and Momentum Restart for Gradient Descent [47.3692506462581]
AMSGradを更新したQ-ラーニングアルゴリズムであるQ-AMSGradの収束率を特徴付ける。性能向上のために,Q-AMSGradに運動量再起動方式を導入し,Q-AMSGradRアルゴリズムを提案する。線形2次規制問題に対する実験により、提案した2つのQ-ラーニングアルゴリズムは、SGD更新でバニラQ-ラーニングより優れていることが示された。
論文参考訳（メタデータ） (2020-07-15T01:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。