論文の概要: Finite-Time Analysis of Simultaneous Double Q-learning

• arxiv url: http://arxiv.org/abs/2406.09946v1
• Date: Fri, 14 Jun 2024 11:47:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:55:15.692589
• Title: Finite-Time Analysis of Simultaneous Double Q-learning
• Title（参考訳）: 同時二重Q-ラーニングの有限時間解析
• Authors: Hyunjun Na, Donghwan Lee,
• Abstract要約: ダブル$Q$-learningは、$Q$-learningアップデートで過大評価バイアスになる傾向がある。 本稿では,Double $Q$-learning (SDQ) と有限時間解析を組み合わせた改良型Double $Q$-learningを提案する。
• 参考スコア（独自算出の注目度）: 4.36117236405564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $Q$-learning is one of the most fundamental reinforcement learning (RL) algorithms. Despite its widespread success in various applications, it is prone to overestimation bias in the $Q$-learning update. To address this issue, double $Q$-learning employs two independent $Q$-estimators which are randomly selected and updated during the learning process. This paper proposes a modified double $Q$-learning, called simultaneous double $Q$-learning (SDQ), with its finite-time analysis. SDQ eliminates the need for random selection between the two $Q$-estimators, and this modification allows us to analyze double $Q$-learning through the lens of a novel switching system framework facilitating efficient finite-time analysis. Empirical studies demonstrate that SDQ converges faster than double $Q$-learning while retaining the ability to mitigate the maximization bias. Finally, we derive a finite-time expected error bound for SDQ.
• Abstract（参考訳）: Q$-learningは、最も基本的な強化学習(RL)アルゴリズムの1つである。 様々なアプリケーションで広く成功しているにもかかわらず、$Q$-learningアップデートでは過大評価バイアスが発生しやすい。 この問題を解決するために、double $Q$-learningでは、学習プロセス中にランダムに選択され更新される2つの独立した$Q$-estimatorが採用されている。 本稿では,Double $Q$-learning (SDQ)と呼ばれる修正ダブル$Q$-learningを提案し,その有限時間解析を行った。 SDQは2つの$Q$-estimator間のランダムな選択の必要性を排除し、この修正により、効率的な有限時間解析を容易にする新しい切り替えシステムフレームワークのレンズを通して、ダブル$Q$-learningを分析することができる。 実験的な研究によると、SDQは最大化バイアスを緩和する能力を維持しながら、倍の$Qの学習よりも早く収束する。 最後に,SDQの有限時間予測誤差を導出する。

関連論文リスト

• Suppressing Overestimation in Q-Learning through Adversarial Behaviors [5.152147416671501]
  本稿では,ダミー逆Q-ラーニング(DAQ)と呼ばれる,ダミー逆Q-ラーニングを行う新しいQ-ラーニングアルゴリズムを提案する。 提案したDAQは、最大Qラーニングや最小Qラーニングなどの過大評価バイアスを制御するために、いくつかのQラーニングのバリエーションを統一する。 DAQの有限時間収束は、逆Q-ラーニングを適用することによって統合的な視点から解析される。
  論文  参考訳（メタデータ） (2023-10-10T03:46:32Z)
• Sufficient Exploration for Convex Q-learning [10.75319149461189]
  本稿では,マンヌの最適制御を線形プログラミング(LP)で定式化する。 原始版はロジスティックQラーニングと呼ばれ、二重版は凸Qラーニングである。 コンベックスQラーニングは,標準Qラーニングが分岐する場合に有効であることが示されている。
  論文  参考訳（メタデータ） (2022-10-17T20:22:12Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)
• Temporal-Difference Value Estimation via Uncertainty-Guided Soft Updates [110.92598350897192]
  Q-Learningは、制御タスクを実行するポリシーを学ぶのに効果的であることが証明されている。 推定ノイズは、政策改善ステップにおける最大演算子の後、バイアスとなる。 UQL(Unbiased Soft Q-Learning)は、2つのアクション、有限状態空間からマルチアクション、無限状態マルコフ決定プロセスまで、EQLの作業を拡張する。
  論文  参考訳（メタデータ） (2021-10-28T00:07:19Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• Reinforcement Learning in Reward-Mixing MDPs [74.41782017817808]
  報酬混合マルコフ決定過程(MDP)におけるエピソード強化学習 cdot S2 A2)$ episodes, where$H$ is time-horizon and $S, A$ are the number of state and actions。 epsilon$-optimal policy after $tildeO(poly(H,epsilon-1) cdot S2 A2)$ episodes, $H$ is time-horizon and $S, A$ are the number of state and actions。
  論文  参考訳（メタデータ） (2021-10-07T18:55:49Z)
• Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
  この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。 計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
  論文  参考訳（メタデータ） (2021-02-12T14:22:05Z)
• Self-correcting Q-Learning [14.178899938667161]
  自己修正アルゴリズム」という形でバイアスに対処する新しい手法を導入する。 この戦略をQラーニングに適用すると、自己修正Qラーニングが発生する。 理論的には,このアルゴリズムはQ-ラーニングと同等の収束保証を享受できるが,精度は高い。
  論文  参考訳（メタデータ） (2020-12-02T11:36:24Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。