Fugu-MT 論文翻訳(概要): On Bellman equations for continuous-time policy evaluation I: discretization and approximation

論文の概要: On Bellman equations for continuous-time policy evaluation I: discretization and approximation

arxiv url: http://arxiv.org/abs/2407.05966v1
Date: Mon, 8 Jul 2024 14:05:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 15:30:42.658169
Title: On Bellman equations for continuous-time policy evaluation I: discretization and approximation
Title（参考訳）: 連続時間政策評価のためのベルマン方程式について I:離散化と近似
Authors: Wenlong Mou, Yuhua Zhu,
Abstract要約: 本研究では,連続時間拡散過程の離散的に観測された軌道から値関数を計算する問題について検討する。離散時間強化学習と互換性のある,容易に実装可能な数値スキームに基づく新しいアルゴリズムのクラスを開発する。
参考スコア（独自算出の注目度）: 3.704688279256839
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the problem of computing the value function from a discretely-observed trajectory of a continuous-time diffusion process. We develop a new class of algorithms based on easily implementable numerical schemes that are compatible with discrete-time reinforcement learning (RL) with function approximation. We establish high-order numerical accuracy as well as the approximation error guarantees for the proposed approach. In contrast to discrete-time RL problems where the approximation factor depends on the effective horizon, we obtain a bounded approximation factor using the underlying elliptic structures, even if the effective horizon diverges to infinity.
Abstract（参考訳）: 本研究では,連続時間拡散過程の離散的に観測された軌道から値関数を計算する問題について検討する。本稿では,関数近似を用いた離散時間強化学習(RL)と互換性のある,容易に実装可能な数値スキームに基づく新しいアルゴリズムのクラスを開発する。提案手法の近似誤差保証とともに,高次数値精度を確立する。近似係数が有効地平線に依存する離散時間RL問題とは対照的に、有効地平線が無限大に分岐しても、基礎となる楕円構造を用いた有界近似係数を得る。

関連論文リスト

Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems [4.42498215122234]
本研究では,関数空間におけるベイズ逆問題の解法を提案する。可能性の対数共空性は仮定せず、非線型逆問題と互換性がある。従来の正規化法で確立された固定点法に着想を得た新しい収束解析を行う。
論文参考訳（メタデータ） (2024-05-24T16:17:01Z)
Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability [17.771354881467435]
一般化された, インスタンスに依存しないステップサイズを持つ単純なアルゴリズムは, ほぼ最適分散とバイアス項を得るのに十分であることを示す。本手法は, 線形近似のための洗練された誤差境界と, ランダム行列の積に対する新しい安定性結果に基づく。
論文参考訳（メタデータ） (2023-10-22T12:37:25Z)
Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文参考訳（メタデータ） (2023-05-24T20:43:47Z)
The Stochastic Proximal Distance Algorithm [5.3315823983402755]
本稿では,所望の制約付き推定問題をペナルティパラメータとして回復する反復最適化手法のクラスを提案し,解析する。我々は、最近の理論装置を拡張して有限誤差境界を確立し、収束率の完全な評価を行う。また,本手法が一般的な学習課題のバッチバージョンより優れていることを示す。
論文参考訳（メタデータ） (2022-10-21T22:07:28Z)
Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。多くの近似法が開発されており、必然的に近似誤差を導入している。この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文参考訳（メタデータ） (2022-05-30T22:16:25Z)
Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
論文参考訳（メタデータ） (2021-12-24T17:21:04Z)
A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-08-22T16:00:45Z)
Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-01-08T00:43:04Z)
Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文参考訳（メタデータ） (2020-12-09T20:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。