論文の概要: Adaptive Experimental Design for Policy Learning

• arxiv url: http://arxiv.org/abs/2401.03756v4
• Date: Thu, 19 Jun 2025 14:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.590924
• Title: Adaptive Experimental Design for Policy Learning
• Title（参考訳）: 政策学習のための適応的実験設計
• Authors: Masahiro Kato, Kyohei Okumura, Takuya Ishihara, Toru Kitagawa,
• Abstract要約: 実験中に治療用アームを実験単位に割り当てる意思決定者について検討し,実験終了時の文脈に基づいて最適な治療用アームを推奨する。 我々は、最適政策の期待結果と提案された政策の間にある最悪のケースで予想される後悔に焦点を当てる。 この戦略は, 実験単位数が増加するにつれて, 後悔の上界における先頭因子が下界と一致するという意味で, 最小値の速度最適値であることが証明された。
• 参考スコア（独自算出の注目度）: 8.73717644648873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the contextual best arm identification (BAI) problem, aiming to design an adaptive experiment to identify the best treatment arm conditioned on contextual information (covariates). We consider a decision-maker who assigns treatment arms to experimental units during an experiment and recommends the estimated best treatment arm based on the contexts at the end of the experiment. The decision-maker uses a policy for recommendations, which is a function that provides the estimated best treatment arm given the contexts. In our evaluation, we focus on the worst-case expected regret, a relative measure between the expected outcomes of an optimal policy and our proposed policy. We derive a lower bound for the expected simple regret and then propose a strategy called Adaptive Sampling-Policy Learning (PLAS). We prove that this strategy is minimax rate-optimal in the sense that its leading factor in the regret upper bound matches the lower bound as the number of experimental units increases.
• Abstract（参考訳）: 本研究では、コンテキスト情報(共変量)に基づいて最適な治療腕を特定するための適応実験を設計することを目的として、コンテキストベスト腕識別(BAI)問題について検討する。 実験中に治療用アームを実験単位に割り当てる意思決定者について検討し,実験終了時の文脈に基づいて最適な治療用アームを推奨する。 意思決定者はレコメンデーションのためのポリシーを使用し、コンテキストに応じて推定された最高の治療アームを提供する機能である。 評価では、最適政策の期待結果と提案した政策との相対的な評価として、最悪のケースで予想される後悔に焦点を当てた。 我々は、期待される単純な後悔に対して低い限界を導き、適応サンプリング・ポリシー・ラーニング(PLAS)と呼ばれる戦略を提案する。 この戦略は, 実験単位数が増加するにつれて, 後悔の上界における先頭因子が下界と一致するという意味で, 最小値の速度最適値であることが証明された。

関連論文リスト

• Adaptive Experiments Under High-Dimensional and Data Sparse Settings: Applications for Educational Platforms [10.565276803897325]
  トンプソンサンプリングのような従来の適応型ポリシは、高次元およびスパースな設定でのスケーラビリティに苦労する。 そこで,本研究では,サンプルサイズを実測可能な処理数を決定するためのフレームワークを提案する。 各種試料サイズおよび処理条件におけるWAPTSの比較評価を行った。
  論文  参考訳（メタデータ） (2025-01-07T18:55:02Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition [40.851324484481275]
  大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。 本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。 特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-09T03:01:13Z)
• Experiment Planning with Function Approximation [49.50254688629728]
  本研究では,文脈的帯域幅問題における関数近似を用いた実験計画の問題点について検討する。 本稿では,関数近似に適合する2つの実験計画戦略を提案する。 そこで, 均一サンプリング器は, 動作数が少ない設定において, 競合最適性を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T14:40:23Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning [21.9468085255912]
  我々は,対象とする治療課題ポリシーを学習するための適応的な実験(文脈的帯域幅')を設計し,実装する。 目的は、参加者のアンケート回答を使用して、寄付募集においてどの慈善団体に公開するかを決定することである。 パイロットデータを収集し, シミュレーション実験を行うことにより, 代替実験設計の評価を行った。
  論文  参考訳（メタデータ） (2022-11-22T04:44:17Z)
• Variance Reduction based Experience Replay for Policy Optimization [3.0790370651488983]
  Variance Reduction Experience Replay (VRER) は、政策勾配推定を改善するために、関連するサンプルを選択的に再利用するためのフレームワークである。 VRERは、VRERによるポリシーグラディエントとして知られる、効率的な非政治学習アルゴリズムの基盤となる。
  論文  参考訳（メタデータ） (2021-10-17T19:28:45Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)
• Progressive Multi-Stage Learning for Discriminative Tracking [25.94944743206374]
  本稿では,頑健な視覚追跡のためのサンプル選択の段階的多段階最適化ポリシを用いた共同識別学習手法を提案する。 提案手法は, 時間重み付き, 検出誘導型セルフペースト学習戦略により, 簡単なサンプル選択を行う。 ベンチマークデータセットの実験では、提案した学習フレームワークの有効性が示されている。
  論文  参考訳（メタデータ） (2020-04-01T07:01:30Z)
• Reward-Conditioned Policies [100.64167842905069]
  模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。