論文の概要: Towards Assessing and Benchmarking Risk-Return Tradeoff of Off-Policy
Evaluation
- arxiv url: http://arxiv.org/abs/2311.18207v2
- Date: Mon, 4 Dec 2023 18:37:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 11:59:36.832432
- Title: Towards Assessing and Benchmarking Risk-Return Tradeoff of Off-Policy
Evaluation
- Title（参考訳）: オフ・ポリティイ・アセスメントのリスク・リターントレードオフの評価とベンチマークに向けて
- Authors: Haruka Kiyohara, Ren Kishimoto, Kosuke Kawakami, Ken Kobayashi,
Kazuhide Nakata, Yuta Saito
- Abstract要約: Off-Policy Evaluation (OPE) は、オフラインログデータのみを使用して、反ファクトポリシーの有効性を評価することを目的としている。
OPE推定器の既存の評価指標は、主にOPEの「正確性」や下流政策の選択に焦点を当てている。
我々は、OPE推定器によって形成される政策ポートフォリオのリスク・リターントレードオフを測定するSharpeRatio@kと呼ばれる新しい指標を開発する。
- 参考スコア（独自算出の注目度）: 17.319113169622806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Off-Policy Evaluation (OPE) aims to assess the effectiveness of
counterfactual policies using only offline logged data and is often used to
identify the top-k promising policies for deployment in online A/B tests.
Existing evaluation metrics for OPE estimators primarily focus on the
"accuracy" of OPE or that of downstream policy selection, neglecting
risk-return tradeoff in the subsequent online policy deployment. To address
this issue, we draw inspiration from portfolio evaluation in finance and
develop a new metric, called SharpeRatio@k, which measures the risk-return
tradeoff of policy portfolios formed by an OPE estimator under varying online
evaluation budgets (k). We validate our metric in two example scenarios,
demonstrating its ability to effectively distinguish between low-risk and
high-risk estimators and to accurately identify the most efficient estimator.
This efficient estimator is characterized by its capability to form the most
advantageous policy portfolios, maximizing returns while minimizing risks
during online deployment, a nuance that existing metrics typically overlook. To
facilitate a quick, accurate, and consistent evaluation of OPE via
SharpeRatio@k, we have also integrated this metric into an open-source
software, SCOPE-RL. Employing SharpeRatio@k and SCOPE-RL, we conduct
comprehensive benchmarking experiments on various estimators and RL tasks,
focusing on their risk-return tradeoff. These experiments offer several
interesting directions and suggestions for future OPE research.
- Abstract（参考訳）: Off-Policy Evaluation (OPE) は、オフラインログデータのみを使用して、カウンターファクトポリシーの有効性を評価することを目的としており、オンラインA/Bテストにデプロイする上で、最も有望なポリシを特定するためにしばしば使用される。
OPE推定器の既存の評価指標は、主にOPEの「正確性」や下流政策の選択に焦点を当て、その後のオンライン政策展開におけるリスク・リターンのトレードオフを無視している。
この問題に対処するため、我々は金融におけるポートフォリオ評価からインスピレーションを得て、さまざまなオンライン評価予算(k)の下でOPE推定器によって形成される政策ポートフォリオのリスク・リターントレードオフを測定するSharpeRatio@kという新しい指標を開発した。
提案手法を2つのシナリオで検証し,リスクの低い推定器とリスクの高い推定器を効果的に識別し,最も効率的な推定器を正確に同定する能力を示す。
この効率的な推定器は、最も有利なポリシーポートフォリオを形成し、リターンを最大化し、オンラインデプロイメント中のリスクを最小限にする能力によって特徴付けられる。
SharpeRatio@kによるOPEの迅速かつ正確かつ一貫した評価を容易にするため,この指標をオープンソースソフトウェアであるSCOPE-RLに統合した。
SharpeRatio@k と SCOPE-RL を用いて,様々な推定器と RL タスクの総合的なベンチマーク実験を行い,リスク-リターントレードオフに着目した。
これらの実験は、将来のOPE研究にいくつかの興味深い方向と提案を提供する。
関連論文リスト
- OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators [13.408838970377035]
オフライン政策評価(OPE)により、新たなシーケンシャルな意思決定方針のパフォーマンスを評価し、見積もることができる。
統計的手法を用いた明示的な選択に頼ることなく,データセットに与えられたOPE推定器の集合を適応的にブレンドするアルゴリズムを提案する。
我々の研究は、オフラインRLのための汎用的、推定対象に依存しない、非政治評価フレームワークの使いやすさの向上に寄与する。
論文 参考訳（メタデータ） (2024-05-27T23:51:20Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳（メタデータ） (2023-03-11T11:42:26Z) - Improved Policy Evaluation for Randomized Trials of Algorithmic Resource
Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。
我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文 参考訳（メタデータ） (2023-02-06T05:17:22Z) - Off-policy evaluation for learning-to-rank via interpolating the
item-position model and the position-based model [83.83064559894989]
産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。
我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。
特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
論文 参考訳（メタデータ） (2022-10-15T17:22:30Z) - Off-Policy Risk Assessment in Markov Decision Processes [15.225153671736201]
我々はマルコフ決定過程(MDPs)におけるリターンのCDFのための最初の2倍ロバスト(DR)推定器を開発する。
この推定器は、分散を著しく少なくし、モデルが十分に特定されたとき、クレーマー・ラオ分散の低い境界を達成する。
オフポリチックCDFとリスク推定のための最初のミニマックス下限を導出する。
論文 参考訳（メタデータ） (2022-09-21T15:40:59Z) - A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。
そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。
エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
論文 参考訳（メタデータ） (2022-08-19T00:55:05Z) - Data-Driven Off-Policy Estimator Selection: An Application in User
Marketing on An Online Content Delivery Service [11.986224119327387]
医療、マーケティング、レコメンデーションシステムといった分野では、非政治的な評価が不可欠である。
理論的背景を持つ多くのOPE法が提案されている。
特定の用途や目的のために使用すると見積もる実践者にとって、しばしば不明である。
論文 参考訳（メタデータ） (2021-09-17T15:53:53Z) - Evaluating the Robustness of Off-Policy Evaluation [10.760026478889664]
Off-policy Evaluation (OPE)は、オフラインログデータのみを活用する仮説的ポリシーの性能を評価する。
オンラインインタラクションが高利得と高価な設定を含むアプリケーションでは特に有用である。
我々は,OPE推定器のロバスト性を評価する実験手法であるIEOE(Interpretable Evaluation for Offline Evaluation)を開発した。
論文 参考訳（メタデータ） (2021-08-31T09:33:13Z) - Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。
私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。
この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
論文 参考訳（メタデータ） (2021-03-30T18:09:33Z) - Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。
本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-08T23:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。