Fugu-MT 論文翻訳(概要): Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation

論文の概要: Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation

arxiv url: http://arxiv.org/abs/2106.13125v1
Date: Thu, 24 Jun 2021 15:58:01 GMT
ステータス: 処理完了
システム内更新日: 2021-06-25 15:00:17.979110
Title: Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation
Title（参考訳）: オフポリティ評価によるメタ強化学習のためのグラディエント推定器の統合
Authors: Yunhao Tang, Tadashi Kozuno, Mark Rowland, R\'emi Munos, Michal Valko
Abstract要約: オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
参考スコア（独自算出の注目度）: 53.83642844626703
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model-agnostic meta-reinforcement learning requires estimating the Hessian matrix of value functions. This is challenging from an implementation perspective, as repeatedly differentiating policy gradient estimates may lead to biased Hessian estimates. In this work, we provide a unifying framework for estimating higher-order derivatives of value functions, based on off-policy evaluation. Our framework interprets a number of prior approaches as special cases and elucidates the bias and variance trade-off of Hessian estimates. This framework also opens the door to a new family of estimates, which can be easily implemented with auto-differentiation libraries, and lead to performance gains in practice.
Abstract（参考訳）: モデル非依存なメタ強化学習は、値関数のヘッセン行列の推定を必要とする。これは実装の観点からは困難であり、繰り返しの政策勾配推定が偏りのあるヘッセン推定に繋がる可能性がある。本研究では,オフポリシー評価に基づいて,価値関数の高次導関数を推定するための統一フレームワークを提案する。本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。このフレームワークはまた、自動微分ライブラリで容易に実装でき、実際にパフォーマンス向上につながる新しい見積もりのファミリーへの扉を開く。

関連論文リスト

Quantile Off-Policy Evaluation via Deep Conditional Generative Learning [21.448553360543478]
Off-Policy Evaluation (OPE) は、潜在的に異なる行動ポリシーによって生成されたオフラインデータを用いて、新しいターゲットポリシーを評価することに関心がある。本稿では、逐次決定における量子OPEの2倍のロス率推論手順を提案する。本提案手法の利点は,シミュレーションと,ショートビデオプラットフォームによる実世界のデータセットの両方を用いて示す。
論文参考訳（メタデータ） (2022-12-29T22:01:43Z)
Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model [83.83064559894989]
産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
論文参考訳（メタデータ） (2022-10-15T17:22:30Z)
An Analysis of Measure-Valued Derivatives for Policy Gradients [37.241788708646574]
本研究では,異なる種類の勾配推定器,測定値導関数について検討する。この推定器はバイアスがなく、分散が低く、微分可能で微分不可能な関数近似器で使用することができる。確率比や再パラメータ化のトリックに基づいた手法で、同等の性能が得られることを示す。
論文参考訳（メタデータ） (2022-03-08T08:26:31Z)
Off-Policy Evaluation for Large Action Spaces via Embeddings [36.42838320396534]
文脈的包帯におけるオフ政治評価(OPE)は、現実世界のシステムで急速に採用されている。既存のOPE推定器は、アクションの数が大きいと著しく劣化する。我々は,アクション埋め込みがアクション空間の構造を提供する際に,余分な重み付けを生かした新しいOPE推定器を提案する。
論文参考訳（メタデータ） (2022-02-13T14:00:09Z)
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods [0.0]
価値に基づく深層強化学習法では、値関数の近似は過大評価バイアスを誘発し、準最適ポリシーをもたらす。過大評価バイアスを克服することを目的とした深いアクター批判的手法では,エージェントが受信した強化信号に高いばらつきがある場合,顕著な過大評価バイアスが発生することを示す。過小評価を最小限に抑えるため,パラメータフリーで新しいQ-ラーニングモデルを提案する。
論文参考訳（メタデータ） (2021-09-22T13:49:35Z)
Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
線形関数近似を用いた強化学習における非政治的評価問題について検討する。本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
論文参考訳（メタデータ） (2021-06-22T17:58:46Z)
Taylor Expansion of Discount Factors [56.46324239692532]
実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。本研究では,この割引要因の相違が学習中に与える影響について検討し,2つの異なる割引要因の値関数を補間する目的のファミリーを発見する。
論文参考訳（メタデータ） (2021-06-11T05:02:17Z)
Bootstrapping Statistical Inference for Off-Policy Evaluation [43.79456564713911]
オフ政治評価(OPE)におけるブートストラップの利用について検討する。本稿では,政策評価誤差の分布を推定するブートストラップFQE法を提案し,この手法が政治外の統計的推測に有効で一貫性があることを示す。我々は,古典的RL環境におけるブートラッピング手法の評価を行い,信頼区間推定,オフポリチック評価器のばらつきの推定,複数オフポリチック評価器の相関性の推定を行った。
論文参考訳（メタデータ） (2021-02-06T16:45:33Z)
Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-11-08T23:16:19Z)
Off-Policy Evaluation via the Regularized Lagrangian [110.28927184857478]
最近提案された分布補正推定(DICE)ファミリーは, 行動に依存しないデータを用いた非政治的評価において, 技術の現状を推し進めている。本稿では,これらを線形プログラムの正規化ラグランジアンとして統一する。双対解は、安定性と推定バイアスの間のトレードオフをナビゲートする際の柔軟性を向上し、一般的にはより優れた見積もりを提供する。
論文参考訳（メタデータ） (2020-07-07T13:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。