論文の概要: Inference on the Value of Policy Improvement in Adaptive Experiments

• arxiv url: http://arxiv.org/abs/2610.15789v1
• Date: Sun, 11 Oct 2026 17:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 16:35:24.649451
• Title: Inference on the Value of Policy Improvement in Adaptive Experiments
• Title（参考訳）: 適応実験における政策改善の意義に関する考察
• Abstract要約: VPIは、クラスにおける最高の治療ポリシーの価値とベースラインポリシーの価値のギャップとして定義される。 我々の推定器は、歴史的データに重み付けされた経験的福祉の最大化政策を順次適用することで機能する。 我々は、カリア等によるヨルダンにおける業務支援プログラムの有効性を評価する適応的な実験において、VPIを見積もる。
• 参考スコア（独自算出の注目度）: 30.925915685047652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we develop an asymptotically normal estimator for the value of policy improvement (VPI) under adaptively collected data. This value, which is defined as the gap between the value of the best treatment policy in a class and that of a baseline policy, gauges whether or not it is worth deploying a personalized treatment policy. Building an estimator for the VPI is naturally more difficult than estimating the value of a fixed policy. This is because, in addition to contending with the correlated data and decaying propensities associated with adaptive experiments, any estimator must also handle the non-regularity, or lack of pathwise differentiability, of the underlying estimand when the optimal policy is non-unique. Our proposed estimator works by sequentially fitting a weighted empirical welfare maximizing policy on historical data and then evaluating it using inverse propensity weighting on future samples. We neither assume that the optimal policy is unique nor make a margin assumption on the underlying heterogeneous treatment effects. A key difficulty in analyzing our estimator is showing that the regret incurred through policy learning is asymptotically smaller than the standard error of the estimator. We accomplish this by showing faster regret rates for policy learning under decaying propensities, which may be of independent interest. We not only evaluate the coverage of our estimator on a mix of synthetic and semi-synthetic data, but also employ it to estimate the VPI in an adaptive experiment evaluating the efficacy of job assistance programs in Jordan due to Caria et al. Although our estimates are generally more conservative than their hierarchical Bayesian analysis, which assumes that the optimal policy is unique, we still corroborate the benefits of personalization amongst Syrian refugees.
• Abstract（参考訳）: 本稿では,適応的に収集したデータに基づいて,政策改善値(VPI)の漸近正規推定器を開発する。 この値は、クラスにおける最高の治療方針の値とベースラインポリシーの値のギャップとして定義され、パーソナライズされた治療方針を配置する価値があるかどうかを測定する。 VPIの見積もり器を構築することは、固定されたポリシーの価値を見積もるよりも、当然難しい。 これは、相関したデータと、適応的な実験に付随する減衰する確率と競合するだけでなく、任意の推定器は、最適方針が特異でないとき、基礎となる推定器の非正則性や経路的微分性の欠如も扱わなければならないからである。 提案手法は, 過去のデータに重み付けされた経験的福祉の最大化政策を順次適用し, 将来のサンプルの逆確率重み付けを用いて評価する。 我々は、最適方針が一意であることや、根底にある不均一な治療効果について余分な仮定をしない。 評価器を解析する上で重要な課題は,政策学習による後悔は,推定器の標準誤差よりも漸近的に小さいことを示すことである。 我々は、崩壊する不利益の下で、政策学習に対するより早い後悔率を示すことでこれを達成している。 我々は, 合成データと半合成データの混合による推定対象のカバレッジを評価するだけでなく, カリア等によるヨルダンにおける職業支援プログラムの有効性を評価する適応実験において, VPIを推定するためにも活用する。

関連論文リスト

• Off-Policy Evaluation for Ranking Policies under Deterministic Logging Policies [17.672063433232196]
  オフ・ポリティ・アセスメント(OPE)は、ランキングシステムにおいて重要な実践的問題である。 目標は、異なるログポリシの下で収集されたオフラインデータのみを使用して、新たなランキングポリシのパフォーマンスを見積もることである。 本稿では,この課題に対処するために,ユーザクリック動作の本質性を活かしたClick-based Inverse Propensity Score (CIPS) を提案する。
  論文  参考訳（メタデータ） (2026-03-23T02:13:39Z)
• Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning [52.97053840476386]
  我々は、よく設計された行動ポリシーを用いて、分散リターン推定を確実に低くするために、政治外のデータを収集できることを示します。 我々は、この重要な洞察を、政策評価と改善の両方がインターリーブされるオンライン強化学習環境に拡張する。
  論文  参考訳（メタデータ） (2025-11-13T23:06:40Z)
• Efficient and Sharp Off-Policy Learning under Unobserved Confounding [25.068617118126824]
  本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。 本手法は,未観測のコンバウンディングが問題となるような意思決定に極めて有用である。
  論文  参考訳（メタデータ） (2025-02-18T16:42:24Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Importance-Weighted Offline Learning Done Right [16.4989952150404]
  文脈的帯域幅問題におけるオフラインポリシー最適化の問題について検討する。 目標は、準最適行動ポリシーによって収集された決定データのデータセットに基づいて、ほぼ最適ポリシーを学ぶことである。 我々は、citet2015の「単純探索」推定に基づく単純な代替手法が、過去の全ての結果よりもほぼ全ての可能な条件で優れた性能保証を与えることを示した。
  論文  参考訳（メタデータ） (2023-09-27T16:42:10Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Off-Policy Evaluation via Adaptive Weighting with Data from Contextual Bandits [5.144809478361604]
  本研究では,2重に重み付けすることで2重に頑健な (DR) 推定器を改良し,その分散を制御した。 推定器の精度向上と既存の代替手段に対する推論特性に関する実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-06-03T17:54:44Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。