論文の概要: Bandit Simulation for Average Reward Inference

• arxiv url: http://arxiv.org/abs/2606.00913v1
• Date: Sat, 30 May 2026 22:27:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.973554
• Title: Bandit Simulation for Average Reward Inference
• Title（参考訳）: 平均逆推論のためのバンドシミュレーション
• Abstract要約: マルチアームバンディットアルゴリズムは、オンラインプラットフォーム、臨床試験、社会科学実験でますます使われている。 バンディットアルゴリズムは収集データに複雑な依存関係を導入するため、標準的な統計的推測法は使用できない。 観測データから帯域環境のシミュレータに適合するBSI(Bandit Simulation for Inference)を提案する。
• 参考スコア（独自算出の注目度）: 3.669864098267656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-arm bandit algorithms are increasingly used in online platforms, clinical trials, and social science experiments, but valid statistical inference on their performance remains an open challenge. After deploying bandits, a natural question is whether one can construct a confidence interval for its mean reward and assess whether it reliably outperforms a baseline policy. The total reward achieved in any single bandit deployment is random, and deploying a bandit twice on the same population typically yields different reward trajectories due to stochastic rewards. Standard statistical inference methods cannot be used because bandit algorithms introduce complex dependencies in the collected data, which violate the i.i.d. assumption underlying many classical approaches. Moreover, existing inference methods for adaptively collected data only apply to estimands that do not depend on the data-collection algorithm (such as the mean reward under a fixed action). We propose Bandit Simulation for Inference (BSI), a framework that fits a simulator of the bandit environment from observed data--either on-policy or off-policy--and uses it to estimate the mean reward under any evaluation policy, including adaptive blackbox algorithms. BSI formally propagates uncertainty in the estimated simulator parameters into the confidence interval construction. Furthermore, for BSI to be valid, it requires only weak exploration assumptions on the behavior policy and avoids importance weighting. We prove that BSI yields asymptotically valid confidence intervals, and demonstrate empirically that it maintains nominal coverage in settings where standard off-policy evaluation methods fail.
• Abstract（参考訳）: マルチアームバンディットアルゴリズムは、オンラインプラットフォーム、臨床試験、社会科学実験でますます使われているが、それらのパフォーマンスに関する統計的推測は、依然としてオープンな課題である。 盗賊を配置した後、自然な疑問は、その平均報酬に対する信頼区間を構築し、それが基準方針を確実に上回るかどうかを評価することができるかどうかである。 シングルバンディットの展開で達成される報酬はランダムであり、同じ人口に2回バンディットを配置すると、確率的な報酬のために通常異なる報酬軌道が得られる。 標準統計推測法は、帯域幅アルゴリズムが収集されたデータに複雑な依存関係をもたらすため、多くの古典的アプローチの根底にある仮定に反するため、使用できない。 さらに、適応的に収集されたデータに対する既存の推論手法は、データ収集アルゴリズムに依存しない推定値(例えば、固定された動作における平均報酬など)にのみ適用される。 提案するBandit Simulation for Inference (BSI) は, 監視データから帯域幅環境のシミュレータに適合するフレームワークであり, 適応ブラックボックスアルゴリズムを含む任意の評価ポリシーの下で, 平均報酬を推定する。 BSIは、推定されたシミュレータパラメータの不確かさを、信頼区間の構成に正式に伝播する。 さらに、BSIが有効であるためには、行動方針の弱い調査仮定しか必要とせず、重要度重み付けを避ける必要がある。 我々は,BSIが漸近的に有効な信頼区間を得られることを証明し,標準の非政治評価手法が失敗する状況において,名目カバレッジを維持することを実証した。

関連論文リスト

• Statistical Inference for Misspecified Contextual Bandits [6.178061357164435]
  標準アルゴリズムは、不特定な作業モデルの下では、安定化に失敗する可能性がある。 広い範囲のモーメント対象に対する逆確率重み付きZ推定フレームワークを開発する。 いくつかの政策クラスに対して、スケールされた逆正則収束のための十分な条件を確立する。
  論文  参考訳（メタデータ） (2026-06-21T18:57:13Z)
• Cramming Contextual Bandits for On-policy Statistical Evaluation [0.8192907805418583]
  我々は,文脈的帯域幅アルゴリズムから最終学習方針を評価するための一般的な統計フレームワークとして,cram法を紹介した。 クラミングは、単一のデータパスを通じてバンドレート全体のシーケンスを利用するため、統計学的および計算学的に効率的な評価がもたらされる。
  論文  参考訳（メタデータ） (2024-03-11T04:19:05Z)
• $K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic Control [0.6906005491572401]
  歴史的データからポリシーの性能を推定するための,新規な$K$-nearest 隣人パラメトリック手法を提案する。 私たちの分析は、ほとんどのアプリケーションで一般的なプラクティスであるように、エピソード全体のサンプリングを可能にします。 他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
  論文  参考訳（メタデータ） (2023-06-07T23:55:12Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Anytime-valid off-policy inference for contextual bandits [34.721189269616175]
  コンテキストバンディットアルゴリズムは、観測されたコンテキストを$X_t$からアクションにマッピングする。 データの収集に使われたロギングポリシーと異なる仮説的ポリシーの特性を推定することは、しばしば関心がある。 我々は、過去の作業で不要な条件を緩和するOPE推論のための包括的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:53Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Post-Contextual-Bandit Inference [57.88785630755165]
  コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。 研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。 研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
  論文  参考訳（メタデータ） (2021-06-01T12:01:51Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Robustness Guarantees for Mode Estimation with an Application to Bandits [131.21717367564963]
  平均ではなく報酬分布のモードを値とするマルチアームバンディットの理論を導入する。 我々は,我々のアルゴリズムが逆雑音列による腕の摂動に頑健であることを示すシミュレーションで示す。
  論文  参考訳（メタデータ） (2020-03-05T21:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。