論文の概要: Control Variates for Slate Off-Policy Evaluation

• arxiv url: http://arxiv.org/abs/2106.07914v1
• Date: Tue, 15 Jun 2021 06:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 14:58:18.085175
• Title: Control Variates for Slate Off-Policy Evaluation
• Title（参考訳）: スレートオフポリシー評価のための制御変動
• Authors: Nikos Vlassis, Ashok Chandrashekar, Fernando Amat Gil, Nathan Kallus
• Abstract要約: 多次元動作を伴うバッチ化されたコンテキスト帯域データから政治外評価の問題について検討する。 我々は, PIと自己正規化PIの双方に対して, リスク改善を保証した新しい推定器を得る。
• 参考スコア（独自算出の注目度）: 112.35528337130118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of off-policy evaluation from batched contextual bandit data with multidimensional actions, often termed slates. The problem is common to recommender systems and user-interface optimization, and it is particularly challenging because of the combinatorially-sized action space. Swaminathan et al. (2017) have proposed the pseudoinverse (PI) estimator under the assumption that the conditional mean rewards are additive in actions. Using control variates, we consider a large class of unbiased estimators that includes as specific cases the PI estimator and (asymptotically) its self-normalized variant. By optimizing over this class, we obtain new estimators with risk improvement guarantees over both the PI and self-normalized PI estimators. Experiments with real-world recommender data as well as synthetic data validate these improvements in practice.
• Abstract（参考訳）: 本研究は,多次元動作を伴うバッチ・コンテクスト・バンディット・データを用いたオフ・ポリシー評価の問題点について検討する。 この問題はシステムとユーザインタフェースの最適化に共通しており、特に組合せ的な大きさのアクション空間のため困難である。 スワミナサンとアル。 (2017) では, 条件付き平均報酬が付加的な作用であると仮定して, 擬似逆数(PI)推定器を提案した。 制御変数を用いて、PI推定器と(漸近的に)自己正規化された変種を含む、大きな非バイアス推定器を考察する。 このクラスを最適化することにより、PIおよび自己正規化PI推定器の両方に対して、リスク改善の保証のある新しい推定器を得る。 実世界のレコメンデータデータと合成データによる実験は、これらの改善を実際に検証する。

関連論文リスト

• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Off-Policy Evaluation of Ranking Policies under Diverse User Behavior [25.226825574282937]
  Inverse Propensity Scoring (IPS) は、大きなアクション空間下での高分散のため、ランキング設定において極めて不正確なものとなる。 この研究は、ユーザの振る舞いが多様であり、ユーザコンテキストによって異なるという、はるかに一般的な定式化を探求する。 結果,Adaptive IPS (AIPS) と呼ばれる推定器は,複雑なユーザ動作下では非バイアス化可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-26T22:31:15Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Pessimistic Off-Policy Optimization for Learning to Rank [13.733459243449634]
  オフ政治学習は、ポリシーをデプロイせずに最適化するためのフレームワークである。 レコメンデーションシステムでは、ログデータの不均衡のため、これは特に難しい。 我々は、ランク付け学習のための悲観的非政治最適化について研究する。
  論文  参考訳（メタデータ） (2022-06-06T12:58:28Z)
• Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model [11.101369123145588]
  ランキングポリシのオフライン評価は、ログデータのみを使用して、新たなランキングポリシのパフォーマンス推定を可能にする。 従来の研究では、アイテム空間をトラクタブルにするために、ユーザ行動に関するいくつかの仮定が紹介されていた。 本稿では,ランキングの上位位置から次々にアイテムと対話するカスケード2倍ロバスト推定器を提案する。
  論文  参考訳（メタデータ） (2022-02-03T12:42:33Z)
• Debiasing In-Sample Policy Performance for Small-Data, Large-Scale Optimization [4.554894288663752]
  本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。 クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。 我々は,小規模・大規模システムにおける推定器の性能を実証する。
  論文  参考訳（メタデータ） (2021-07-26T19:00:51Z)
• Off-Policy Evaluation via Adaptive Weighting with Data from Contextual Bandits [5.144809478361604]
  本研究では,2重に重み付けすることで2重に頑健な (DR) 推定器を改良し,その分散を制御した。 推定器の精度向上と既存の代替手段に対する推論特性に関する実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-06-03T17:54:44Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。