論文の概要: Statistical Inference for Temporal Difference Learning with Linear Function Approximation

• arxiv url: http://arxiv.org/abs/2410.16106v1
• Date: Mon, 21 Oct 2024 15:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:53.446639
• Title: Statistical Inference for Temporal Difference Learning with Linear Function Approximation
• Title（参考訳）: 線形関数近似を用いた時間差学習の統計的推測
• Authors: Weichen Wu, Gen Li, Yuting Wei, Alessandro Rinaldo,
• Abstract要約: 時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
• 参考スコア（独自算出の注目度）: 62.69448336714418
• License:
• Abstract: Statistical inference with finite-sample validity for the value function of a given policy in Markov decision processes (MDPs) is crucial for ensuring the reliability of reinforcement learning. Temporal Difference (TD) learning, arguably the most widely used algorithm for policy evaluation, serves as a natural framework for this purpose.In this paper, we study the consistency properties of TD learning with Polyak-Ruppert averaging and linear function approximation, and obtain three significant improvements over existing results. First, we derive a novel sharp high-dimensional probability convergence guarantee that depends explicitly on the asymptotic variance and holds under weak conditions. We further establish refined high-dimensional Berry-Esseen bounds over the class of convex sets that guarantee faster rates than those in the literature. Finally, we propose a plug-in estimator for the asymptotic covariance matrix, designed for efficient online computation. These results enable the construction of confidence regions and simultaneous confidence intervals for the linear parameters of the value function, with guaranteed finite-sample coverage. We demonstrate the applicability of our theoretical findings through numerical experiments.
• Abstract（参考訳）: マルコフ決定過程(MDP)における政策値関数に対する有限サンプル妥当性の統計的推測は、強化学習の信頼性を確保するために重要である。 政策評価において最も広く使用されるアルゴリズムである時間差差(TD)学習は,本手法の自然な枠組みとして機能する。本論文では,Polyak-Ruppert平均値と線形関数近似を用いたTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。 まず、漸近的分散に明示的に依存し、弱い条件下で保持する、新しい鋭い高次元確率収束保証を導出する。 さらに、文献よりも高速な速度を保証する凸集合のクラスに洗練された高次元ベリー-エッセイン境界を確立する。 最後に,オンライン計算の効率化を目的とした漸近的共分散行列のプラグイン推定手法を提案する。 これらの結果から、値関数の線形パラメータに対する信頼領域と同時信頼区間の構築が可能となり、有限サンプルカバレッジが保証される。 数値実験により理論的結果の適用性を実証した。

関連論文リスト

• High Confidence Level Inference is Almost Free using Parallel Stochastic Optimization [16.38026811561888]
  本稿では,高効率計算と高速収束による信頼区間構築に焦点をあてた新しい推論手法を提案する。 提案手法は,推定値の標準的な更新を超える最小限の計算量とメモリを必要とするため,推論処理はほとんどコストがかからない。
  論文  参考訳（メタデータ） (2024-01-17T17:11:45Z)
• Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability [17.771354881467435]
  一般化された, インスタンスに依存しないステップサイズを持つ単純なアルゴリズムは, ほぼ最適分散とバイアス項を得るのに十分であることを示す。 本手法は, 線形近似のための洗練された誤差境界と, ランダム行列の積に対する新しい安定性結果に基づく。
  論文  参考訳（メタデータ） (2023-10-22T12:37:25Z)
• Optimal Learning via Moderate Deviations Theory [4.6930976245638245]
  我々は、中等度偏差原理に基づくアプローチを用いて、高精度な信頼区間の体系的構築を開発する。 提案した信頼区間は,指数的精度,最小性,整合性,誤評価確率,結果整合性(UMA)特性の基準を満たすという意味で統計的に最適であることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T19:57:57Z)
• Online Statistical Inference for Nonlinear Stochastic Approximation with Markovian Data [22.59079286063505]
  マルコフデータの単一軌跡を用いた非線形近似アルゴリズムの統計的推定について検討した。 本手法は,自動回帰データや非同期Q-Learningにおけるグラディエント・Descent (SGD) など,様々なシナリオで実用化されている。
  論文  参考訳（メタデータ） (2023-02-15T14:31:11Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。