論文の概要: Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior
- arxiv url: http://arxiv.org/abs/2608.29600v1
- Date: Sun, 30 Aug 2026 06:43:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.015986
- Title: Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior
- Title（参考訳）: 異種ユーザ行動下でのランク付けポリシーに対する適応的二重ロバストオフポリシー評価
- Abstract要約: Inverse Propensity Scoring (IPS) は過度な分散を持つ。
IPS と Reward Interaction IPS (RIPS) は、ユーザーがランキングを閲覧する方法に関する仮定を定め、ばらつきを減らす。
本稿では適応重み付けと再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
- 参考スコア（独自算出の注目度）: 0.7161783472741748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Off-policy evaluation (OPE) of ranking policies is challenging be- cause selecting and ordering multiple items from a candidate set makes the number of possible rankings grow combinatorially with the number of candidates and the ranking length. Consequently, Inverse Propensity Scoring (IPS), whose importance weight is the full-ranking probability ratio under the evaluation and logging policies, can have excessive variance. Independent IPS (IIPS) and Reward Interaction IPS (RIPS) reduce variance by imposing fixed assumptions on how users browse rankings, but may introduce bias when those assumptions mismatch actual behavior. Adaptive Inverse Propensity Scoring (AIPS) addresses this trade-off by adap- tively marginalizing importance weights over the actions that affect each position-wise reward. It attains minimum variance within a class of unbiased IPS-based estimators when the true user be- havior model is observed. However, its estimation accuracy may still degrade for longer rankings, and AIPS does not use a reward model for residual correction. We propose Adaptive Doubly Robust (ADR), which combines adaptive importance weighting with re- ward regression through a control-variate correction. We establish its unbiasedness when the true user behavior model is observed and characterize a sufficient condition under which it reduces vari- ance relative to AIPS. Across synthetic experiments with 10,000 simulations per condition, ADR improves mean squared error over AIPS and conventional ranking OPE estimators across a range of logged-data sizes and ranking lengths.
- Abstract（参考訳）: ランク付けポリシーのオフ・ポリティクス評価(OPE)は、候補セットから複数の項目を選択し、注文することで、候補数とランキングの長さとを組み合わせてランク付けできる回数を増大させる。
その結果、評価およびロギングポリシーの下で、重要度がフルランクの確率比である逆確率スコアリング(IPS)は、過度なばらつきを生じる可能性がある。
インディペンデントIPS(IIPS)とリワードインタラクションIPS(RIPS)は、ユーザーがランキングを閲覧する方法に一定の仮定を課すことでばらつきを減らすが、それらの仮定が実際の振る舞いをミスマッチした場合にバイアスが発生する可能性がある。
Adaptive Inverse Propensity Scoring (AIPS)はこのトレードオフに対処するため、各ポジションワイド報酬に影響を与えるアクションに対する重み付けを、アダプタイトにマージする。
真のbe-haviorモデルが観測されたとき、無バイアスのIPSベースの推定器のクラス内の最小分散が得られる。
しかし、その推定精度は依然としてより長いランキングで低下する可能性があり、AIPSは残差補正に報酬モデルを使用しない。
本稿では,適応重み付けと制御変量補正による再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
真のユーザ行動モデルが観察されると、その不偏性を確立し、AIPSに対するヴァリアンスを減少させる十分な条件を特徴付ける。
ADRは1条件当たり1万のシミュレーションで合成実験を行い、AIPSおよび従来のOPE推定値よりも平均2乗誤差を、ログデータサイズとランキング長の幅で改善する。
関連論文リスト
- EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation [8.907440501295346]
SNIPSは、特定の、しかし一般的にはサブ最適の、付加的なベースラインを使用することと等価であることを示す。
本結果は,自己正規化から,ランク付けとレコメンデーションの両面での最適なベースライン修正への移行を正当化するものである。
論文 参考訳（メタデータ） (2026-02-16T16:49:23Z) - Counterfactual Risk Minimization with IPS-Weighted BPR and Self-Normalized Evaluation in Recommender Systems [3.5507492850515323]
逆相対性スコア(IPS)は、このバイアスを補正するが、しばしば高いばらつきと不安定さに悩まされる。
IPS重み付きトレーニングとIPS重み付きベイズパーソナライズされたランク付け目標を統合した,シンプルで効果的なパイプラインを提案する。
合成およびMovieLens 100Kデータによる実験により、我々のアプローチは偏りのない露光下でより一般化されることが示された。
論文 参考訳（メタデータ） (2025-08-30T03:14:56Z) - Off-Policy Evaluation of Ranking Policies via Embedding-Space User Behavior Modeling [0.0]
大規模なランク付け行動空間を有するランキング設定における非政治的評価は、新しいレコメンデーションポリシーを評価する上で不可欠である。
我々は2つの新しい仮定を導入する: ランキングに直接的な影響はなく、ユーザー行動モデルがランキングの埋め込み空間に直接的な影響を与えることはない。
次に,統計的に望ましい特性を持つ一般化された辺化逆確率スコア推定器を提案する。
論文 参考訳（メタデータ） (2025-05-31T07:58:53Z) - Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。
ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。
我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文 参考訳（メタデータ） (2024-10-26T14:24:37Z) - Policy Gradient with Active Importance Sampling [55.112959067035916]
政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。
しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。
我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
論文 参考訳（メタデータ） (2024-05-09T09:08:09Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳（メタデータ） (2023-10-24T01:00:01Z) - Off-Policy Evaluation of Ranking Policies under Diverse User Behavior [25.226825574282937]
Inverse Propensity Scoring (IPS) は、大きなアクション空間下での高分散のため、ランキング設定において極めて不正確なものとなる。
この研究は、ユーザの振る舞いが多様であり、ユーザコンテキストによって異なるという、はるかに一般的な定式化を探求する。
結果,Adaptive IPS (AIPS) と呼ばれる推定器は,複雑なユーザ動作下では非バイアス化可能であることを示す。
論文 参考訳（メタデータ） (2023-06-26T22:31:15Z) - Doubly Robust Off-Policy Evaluation for Ranking Policies under the
Cascade Behavior Model [11.101369123145588]
ランキングポリシのオフライン評価は、ログデータのみを使用して、新たなランキングポリシのパフォーマンス推定を可能にする。
従来の研究では、アイテム空間をトラクタブルにするために、ユーザ行動に関するいくつかの仮定が紹介されていた。
本稿では,ランキングの上位位置から次々にアイテムと対話するカスケード2倍ロバスト推定器を提案する。
論文 参考訳（メタデータ） (2022-02-03T12:42:33Z) - Control Variates for Slate Off-Policy Evaluation [112.35528337130118]
多次元動作を伴うバッチ化されたコンテキスト帯域データから政治外評価の問題について検討する。
我々は, PIと自己正規化PIの双方に対して, リスク改善を保証した新しい推定器を得る。
論文 参考訳（メタデータ） (2021-06-15T06:59:53Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。