論文の概要: Counterfactual Learning with General Data-generating Policies
- arxiv url: http://arxiv.org/abs/2212.01925v1
- Date: Sun, 4 Dec 2022 21:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 15:20:16.296368
- Title: Counterfactual Learning with General Data-generating Policies
- Title（参考訳）: 一般データ生成政策による対物学習
- Authors: Yusuke Narita, Kyohei Okumura, Akihiro Shimizu, Kohei Yata
- Abstract要約: 我々は、コンテキスト帯域設定における完全なサポートと不足したサポートロギングポリシーのクラスのためのOPE手法を開発した。
サンプルサイズが大きくなるにつれて,本手法の予測値が実測値の真の性能に収束することが証明された。
- 参考スコア（独自算出の注目度）: 3.441021278275805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Off-policy evaluation (OPE) attempts to predict the performance of
counterfactual policies using log data from a different policy. We extend its
applicability by developing an OPE method for a class of both full support and
deficient support logging policies in contextual-bandit settings. This class
includes deterministic bandit (such as Upper Confidence Bound) as well as
deterministic decision-making based on supervised and unsupervised learning. We
prove that our method's prediction converges in probability to the true
performance of a counterfactual policy as the sample size increases. We
validate our method with experiments on partly and entirely deterministic
logging policies. Finally, we apply it to evaluate coupon targeting policies by
a major online platform and show how to improve the existing policy.
- Abstract（参考訳）: off-policy evaluation(ope)は、異なるポリシーからログデータを使用して、偽のポリシーのパフォーマンスを予測する。
我々は、文脈帯域設定における完全サポートと不足サポートのログポリシーの両方のクラスに対して、opeメソッドを開発することで、その適用性を拡張する。
このクラスには、決定論的バンディット(高信頼境界など)と、教師なしおよび教師なし学習に基づく決定論的意思決定が含まれる。
サンプルサイズが大きくなるにつれて,本手法の予測は反事実ポリシーの真の性能に確率的に収束することを証明する。
本手法を,部分的および完全決定論的ロギングポリシーの実験により検証する。
最後に、主要なオンラインプラットフォームによるクーポンターゲティングポリシーの評価を行い、既存のポリシーを改善する方法を示す。
関連論文リスト
- Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。
一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。
本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文 参考訳（メタデータ） (2024-05-03T16:45:15Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T16:45:11Z) - Supervised Off-Policy Ranking [145.3039527243585]
オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。
本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。
本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
論文 参考訳（メタデータ） (2021-07-03T07:01:23Z) - Offline Policy Selection under Uncertainty [113.57441913299868]
我々は、オフラインポリシーの選択を、一定の経験データセットを与えられた政策予測のセットよりも学習の選好とみなす。
政策価値に対する信念に対する完全な分布へのアクセスは、より幅広い下流評価指標の下でより柔軟な選択アルゴリズムを可能にする。
BayesDICEが任意の下流ポリシー選択メトリックに関してポリシーのランク付けにどのように使用されるかを示します。
論文 参考訳（メタデータ） (2020-12-12T23:09:21Z) - Robust Batch Policy Learning in Markov Decision Processes [0.0]
マルコフ決定プロセス(MDP)の枠組みにおけるオフラインデータ駆動シーケンシャル意思決定問題について検討する。
本稿では,政策誘導定常分布を中心とした分布について,平均報酬のセットを用いて各政策を評価することを提案する。
論文 参考訳（メタデータ） (2020-11-09T04:41:21Z) - Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under
Batch Update Policy [8.807587076209566]
オフ・ポリティクス評価(OPE)の目的は、行動政策を通じて得られた履歴データを用いて、新しい政策を評価することである。
文脈的帯域幅は過去の観測に基づいてポリシーを更新するため、サンプルは独立ではなく、同一に分布する。
本稿では,従属サンプルに対するマーチンゲール差分列(MDS)から推定器を構築することにより,この問題に対処する。
論文 参考訳（メタデータ） (2020-10-23T15:22:57Z) - Distributionally Robust Batch Contextual Bandits [20.667213458836734]
歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。
既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。
本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
論文 参考訳（メタデータ） (2020-06-10T03:11:40Z) - Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic
Policies [80.42316902296832]
本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。
この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。
異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
論文 参考訳（メタデータ） (2020-06-06T15:52:05Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。