論文の概要: $K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic
Control
- arxiv url: http://arxiv.org/abs/2306.04836v2
- Date: Wed, 10 Jan 2024 09:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 17:46:10.863975
- Title: $K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic
Control
- Title(参考訳): 確率制御におけるオフポリシー評価のための$k$-nearest-neighbor再サンプリング
- Authors: Michael Giegrich, Roel Oomen, Christoph Reisinger
- Abstract要約: 歴史的データからポリシーの性能を推定するための,新規な$K$-nearest 隣人パラメトリック手法を提案する。
私たちの分析は、ほとんどのアプリケーションで一般的なプラクティスであるように、エピソード全体のサンプリングを可能にします。
他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
- 参考スコア(独自算出の注目度): 0.6906005491572401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel $K$-nearest neighbor resampling procedure
for estimating the performance of a policy from historical data containing
realized episodes of a decision process generated under a different policy. We
provide statistical consistency results under weak conditions. In particular,
we avoid the common assumption of identically and independently distributed
transitions and rewards. Instead, our analysis allows for the sampling of
entire episodes, as is common practice in most applications. To establish the
consistency in this setting, we generalize Stone's Theorem, a well-known result
in nonparametric statistics on local averaging, to include episodic data and
the counterfactual estimation underlying off-policy evaluation (OPE). By
focusing on feedback policies that depend deterministically on the current
state in environments with continuous state-action spaces and system-inherent
stochasticity effected by chosen actions, and relying on trajectory simulation
similar to Monte Carlo methods, the proposed method is particularly well suited
for stochastic control environments. Compared to other OPE methods, our
algorithm does not require optimization, can be efficiently implemented via
tree-based nearest neighbor search and parallelization, and does not explicitly
assume a parametric model for the environment's dynamics. Numerical experiments
demonstrate the effectiveness of the algorithm compared to existing baselines
in a variety of stochastic control settings, including a linear quadratic
regulator, trade execution in limit order books, and online stochastic bin
packing.
- Abstract(参考訳): 本稿では,異なる方針の下で発生した決定過程の達成されたエピソードを含む履歴データから,政策の性能を推定するための新しい$k$-nearest neighbor resampling手順を提案する。
弱い条件下で統計的に整合性を示す。
特に、同一かつ独立に分散したトランジションと報酬の一般的な仮定を避ける。
代わりに、我々の分析は、ほとんどのアプリケーションでよくあるプラクティスのように、エピソード全体のサンプリングを可能にします。
この設定における一貫性を確立するために、局所平均化に関する非パラメトリック統計学の有名な結果であるストーンの定理を一般化し、エピソードデータと、オフ・ポリティ・アセスメント(OPE)に基づく対実推定を含む。
提案手法は, 連続的な状態行動空間と, 選択された動作によって影響されるシステム固有の確率性を有する環境における現状に決定的に依存するフィードバックポリシに着目し, モンテカルロ法に類似した軌道シミュレーションに依存することにより, 確率制御環境に特に適している。
他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
数値実験により, 線形2次制御器, リミットオーダーブックでの取引実行, オンライン確率ビンパッキングなど, 様々な確率制御設定において, 既存のベースラインと比較して, アルゴリズムの有効性が示された。
関連論文リスト
- Wasserstein Distributionally Robust Policy Evaluation and Learning for
Contextual Bandits [18.982448033389588]
オフ政治評価と学習は、与えられた政策を評価し、環境と直接対話することなくオフラインデータから最適な政策を学ぶことに関するものである。
学習と実行における異なる環境の影響を考慮するため,分散ロバスト最適化法(DRO)が開発されている。
代わりにワッサーシュタイン距離を用いた新しいDRO手法を提案する。
論文 参考訳(メタデータ) (2023-09-15T20:21:46Z) - Quantile Off-Policy Evaluation via Deep Conditional Generative Learning [21.448553360543478]
Off-Policy Evaluation (OPE) は、潜在的に異なる行動ポリシーによって生成されたオフラインデータを用いて、新しいターゲットポリシーを評価することに関心がある。
本稿では、逐次決定における量子OPEの2倍のロス率推論手順を提案する。
本提案手法の利点は,シミュレーションと,ショートビデオプラットフォームによる実世界のデータセットの両方を用いて示す。
論文 参考訳(メタデータ) (2022-12-29T22:01:43Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-10-04T17:13:45Z) - Optimal scheduling of entropy regulariser for continuous-time
linear-quadratic reinforcement learning [9.779769486156631]
ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。
この探索-探索トレードオフはエントロピー正則化の強さによって決定される。
どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
論文 参考訳(メタデータ) (2022-08-08T23:36:40Z) - Uncertainty Aware System Identification with Universal Policies [45.44896435487879]
Sim2real Transferは、シミュレーションで訓練されたポリシーを、潜在的にノイズの多い現実世界環境に転送することに関心がある。
本研究では,Universal Policy Network (UPN) を用いてシミュレーション学習したタスク固有ポリシーを格納するUncertainty-aware Policy Search (UncAPS)を提案する。
次に、我々は、DRのような方法で関連するUPNポリシーを組み合わせることで、与えられた環境に対して堅牢なポリシーを構築するために、堅牢なベイズ最適化を採用する。
論文 参考訳(メタデータ) (2022-02-11T18:27:23Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under
Batch Update Policy [8.807587076209566]
オフ・ポリティクス評価(OPE)の目的は、行動政策を通じて得られた履歴データを用いて、新しい政策を評価することである。
文脈的帯域幅は過去の観測に基づいてポリシーを更新するため、サンプルは独立ではなく、同一に分布する。
本稿では,従属サンプルに対するマーチンゲール差分列(MDS)から推定器を構築することにより,この問題に対処する。
論文 参考訳(メタデータ) (2020-10-23T15:22:57Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳(メタデータ) (2020-07-13T02:52:18Z) - Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。
我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
論文 参考訳(メタデータ) (2020-03-16T17:15:28Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳(メタデータ) (2020-02-21T19:20:57Z) - Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
政策評価は強化学習(RL)における重要なプロセスである
我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。
KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
論文 参考訳(メタデータ) (2020-02-17T13:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。