論文の概要: Anytime-valid Optimal Policy Identification

• arxiv url: http://arxiv.org/abs/2606.17515v1
• Date: Tue, 16 Jun 2026 04:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.27295
• Title: Anytime-valid Optimal Policy Identification
• Title（参考訳）: 任意の有意な最適政策同定
• Authors: Daniel Molitor,
• Abstract要約: 我々は、ログ化されたコンテキスト帯域データから最適なポリシー識別を行うための時価フレームワークを開発する。 本稿は、時間とともに、真の最適ポリシーを均一に保持する時間インデックスセット$S_t$を構築することで、課題に対処する。 結果として、アナリストはポリシーの値を監視し、明確な最適化されたポリシーを排除し、推論を無効にすることなくデータ依存の時間で停止することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop an anytime-valid framework for optimal policy identification from logged contextual bandit data. In many applied settings, the analyst wants to select the optimal policy from a candidate policy class $Π$, but data are generated by an externally determined logging policy that they do not control. The analyst may also wish to monitor evidence continuously, stopping once the optimal policy is clear rather than committing to a fixed sample size in advance. This paper addresses these challenges by constructing a time-indexed set $S_t$ that retains the true optimal policy set uniformly over time with high probability. The resulting procedure allows the analyst to monitor policy values, eliminate clearly suboptimal policies, and stop at data-dependent times without invalidating inference. When the optimal policy is unique, we define a stopping time for its identification and derive a sample-complexity bound scaling as $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$, where $Δ_{\min}$ is the gap between the best and second-best policy values. Simulations demonstrate that the anytime-valid approach can yield substantial sample savings relative to fixed-$N$ designs. An application to a large adaptive experiment on reducing misinformation online illustrates how the method provides a dynamic view as evidence on the optimal policy accumulates.
• Abstract（参考訳）: 我々は、ログ化されたコンテキスト帯域データから最適なポリシー識別を行うための時価フレームワークを開発する。 多くの適用された設定で、アナリストは、候補ポリシークラスから最適なポリシーを選択したがるが、データは、制御しない外部決定されたロギングポリシーによって生成される。 アナリストはまた、証拠を継続的に監視し、適切な政策が明確になったら、事前に一定のサンプルサイズにコミットするのではなく、停止することを望んでいるかもしれない。 本論文は, 確率の高い時間とともに, 真の最適ポリシを均一に保持する, 時間インデックスセット $S_t$ を構築することで, これらの課題に対処する。 結果として、アナリストはポリシーの値を監視し、明確な最適化されたポリシーを排除し、推論を無効にすることなくデータ依存の時間で停止することができる。 最適ポリシーが一意であれば、その識別の停止時間を定義し、サンプル-複雑さ境界スケーリングを$O\! ここで$Δ_{\min}$は、最良の政策値と第二の政策値のギャップである。 シミュレーションにより、任意の値のアプローチは固定$N$の設計に対してかなりのサンプル貯蓄が得られることを示した。 誤情報を減らすための大規模な適応実験への応用は、最適政策の証拠が蓄積されるにつれて、この方法が動的ビューを提供する方法を示している。

関連論文リスト

• Adaptive Policies for Resource Generation in a Quantum Network [0.5332865877117923]
  分散量子システムのためのプロトコルは、通常、$n$の絡み合った状態の同時可用性を必要とする。 我々は、$n$の絡み合った状態が$F_mathrmapp$以上の忠実さで利用可能になるまでの期待時間を最小化する最適なポリシーを導出する。
  論文  参考訳（メタデータ） (2025-09-22T11:04:12Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• On Gap-dependent Bounds for Offline Reinforcement Learning [40.92345387517103]
  本稿では,オフライン強化学習におけるギャップ依存型サンプル複雑性の系統的研究を行う。 最適政策カバレッジの仮定の下では、最適な$Q$-函数に正の準最適差がある場合、その値は$Oleft(frac1epsilonright)$に改善することができる。 最適政策の訪問確率が正である状態に対して,行動政策の訪問確率が一様に低い場合,最適政策を特定する際のサンプルの複雑さは$frac1epsilon$とは無関係である。
  論文  参考訳（メタデータ） (2022-06-01T01:44:12Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• Randomized Policy Optimization for Optimal Stopping [0.0]
  本稿では,ランダム化線形ポリシーに基づく最適停止手法を提案する。 提案手法は最先端手法を著しく上回り得ることを示す。
  論文  参考訳（メタデータ） (2022-03-25T04:33:15Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning [43.61029925616256]
  強化学習(RL)におけるオフラインポリシー評価は、実生活アプリケーションにRLを適用するための重要なステップである。 ポリシクラス$Pi$ -- OPEの統一収束を同時に評価することで、この問題に対処する。 以上の結果から,モデルベースプランニングにより,$widetildeO(H3/d_mepsilon2)$の最適なエピソード複雑性を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-07T19:44:14Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。