Fugu-MT 論文翻訳(概要): Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration

論文の概要: Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration

arxiv url: http://arxiv.org/abs/2504.10865v1
Date: Tue, 15 Apr 2025 04:56:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-16 22:11:27.423992
Title: Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration
Title（参考訳）: 射影ベルマン方程式、線形Q-ラーニング、近似値反復の理論的性質の理解
Authors: Han-Dong Lim, Donghwan Lee,
Abstract要約: 我々は、この方程式を解くために、射影ベルマン方程式(PBE)と2つのアルゴリズムの理論的性質について研究する。 PBEの解が存在するための2つの十分な条件を考える。
参考スコア（独自算出の注目度）: 6.663174194579773
License:
Abstract: In this paper, we study the theoretical properties of the projected Bellman equation (PBE) and two algorithms to solve this equation: linear Q-learning and approximate value iteration (AVI). We consider two sufficient conditions for the existence of a solution to PBE : strictly negatively row dominating diagonal (SNRDD) assumption and a condition motivated by the convergence of AVI. The SNRDD assumption also ensures the convergence of linear Q-learning, and its relationship with the convergence of AVI is examined. Lastly, several interesting observations on the solution of PBE are provided when using $\epsilon$-greedy policy.
Abstract（参考訳）: 本稿では,この方程式を線形Q-ラーニングと近似値反復(AVI)という,射影ベルマン方程式(PBE)と2つのアルゴリズムの理論的性質について検討する。 PBEの解が存在するための2つの十分な条件を考える:厳密には負の行支配対角線(SNRDD)仮定と、AVIの収束によって動機付けられた条件である。 SNRDD仮定は線形Q-ラーニングの収束も保証し、AVIの収束との関係について検討する。最後に、$\epsilon$-greedy ポリシを使用すると PBE の解に関する興味深い観測がいくつか提供される。

関連論文リスト

Regularized Q-learning through Robust Averaging [3.4354636842203026]
本稿では,既存のQラーニング手法の弱点を原則的に解決する,2RA Qラーニングと呼ばれる新しいQラーニング変種を提案する。そのような弱点の1つは、制御できない、しばしばパフォーマンスが低下する、基礎となる推定バイアスである。 2RA Q-learningは最適ポリシーに収束し、理論平均二乗誤差を解析する。
論文参考訳（メタデータ） (2024-05-03T15:57:26Z)
On the Convergence and Sample Complexity Analysis of Deep Q-Networks with $\epsilon$-Greedy Exploration [86.71396285956044]
本稿では,深層強化学習における$varepsilon$-greedyによるDQN(Deep Q-Network)の理論的理解を提供する。
論文参考訳（メタデータ） (2023-10-24T20:37:02Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Convex Q Learning in a Stochastic Environment: Extended Version [1.680268810119084]
本稿では,関数近似を用いたマルコフ決定過程に対する凸Q-ラーニングの最初の定式化について紹介する。提案アルゴリズムは収束し, 平均二乗感覚における収束率を求める新しい手法が導入された。この理論は古典的な在庫管理問題への応用として説明されている。
論文参考訳（メタデータ） (2023-09-10T18:24:43Z)
Learning Bellman Complete Representations for Offline Policy Evaluation [51.96704525783913]
サンプル効率のよいOPEの2つの条件は、ベルマン完全性とカバレッジである。我々の表現は、政治外RLのために開発された従来の表現学習手法と比較して、OPEをより良くできることを示す。
論文参考訳（メタデータ） (2022-07-12T21:02:02Z)
Solving Constrained Variational Inequalities via an Interior Point Method [88.39091990656107]
制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。本稿では,2種類の問題においてACVIの収束保証を提供する。この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
論文参考訳（メタデータ） (2022-06-21T17:55:13Z)
Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。リプシッツ定数をユーザ定義上界を用いて明示的に制御する。いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文参考訳（メタデータ） (2021-12-27T07:03:43Z)
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
論文参考訳（メタデータ） (2021-10-16T01:47:41Z)
Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
論文参考訳（メタデータ） (2021-02-12T14:22:05Z)
The Mean-Squared Error of Double Q-Learning [33.610380346576456]
両Q-ラーニングの平均二乗誤差とQ-ラーニングの平均二乗誤差を理論的に比較する。二重Q-ラーニングの平均二乗誤差はQ-ラーニングの平均二乗誤差と完全に等しいことを示す。
論文参考訳（メタデータ） (2020-07-09T19:15:17Z)
Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes [40.31139355952393]
一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
論文参考訳（メタデータ） (2020-02-03T16:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。