論文の概要: Policy Learning with Weak Signals

• arxiv url: http://arxiv.org/abs/2610.10167v1
• Date: Wed, 07 Oct 2026 14:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.971891
• Title: Policy Learning with Weak Signals
• Title（参考訳）: 弱信号を用いた政策学習
• Abstract要約: デジタル実験における政策学習は、弱い信号対雑音比、豊富な共変量空間、巨大なデータボリュームの3つの課題に直面している。 我々は、処理効果推定を、有界信号-雑音比を持つガウス観測としてモデル化することで、この体制を定式化する。 我々は, 省福祉の後悔を解消する線形スムーダに基づくミニマックス適応政策を導出する。
• 参考スコア（独自算出の注目度）: 33.6349211044543
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Policy learning in digital experimentation faces three challenges: weak signal-to-noise ratios, rich covariate spaces, and massive data volumes. We formalize this regime by modeling treatment-effect estimates from increasingly fine covariate partitions as Gaussian observations with bounded signal-to-noise ratios. We establish that, in general, the optimal treatment policy is not learnable in this setting. Even learning the optimal policy value suffers from impractically slow rates. However, when treatment effects vary smoothly, we derive minimax-adaptive policies based on linear smoothers that achieve vanishing welfare regret. We demonstrate the practical value of our framework by applying it to large-scale real-world experiments at Netflix, showing that personalized linear-smoothing policies can dominate unpersonalized policies even in this challenging empirical setting.
• Abstract（参考訳）: デジタル実験における政策学習は、弱い信号対雑音比、豊富な共変量空間、巨大なデータボリュームの3つの課題に直面している。 我々は、境界信号-雑音比を持つガウス観測として、より微細な共変量分割からの処理効果推定をモデル化することによって、この体制を定式化する。 我々は、一般的に、最適な治療方針は、この設定では学べないことを確証する。 最適な政策価値を学ぶことでさえ、急激なスローレートに悩まされる。 しかし, 治療効果がスムーズに変化した場合, リニアスムースラーをベースとしたミニマックス適応政策を導出した。 Netflixの大規模な実世界の実験に適用することで、我々のフレームワークの実践的価値を実証し、この挑戦的な経験的設定においても、パーソナライズされたリニアスムースティングポリシーが非個人化されたポリシーを支配できることを示した。

関連論文リスト

• Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation [28.722908721336992]
  本稿では,遷移不確実性に対して効率的かつ頑健な学習行動ポリシーを学習するための2ループ勾配に基づくアルゴリズムを提案する。 本手法は既存手法よりも過渡摂動に敏感でないことを示す。
  論文  参考訳（メタデータ） (2026-08-25T07:10:06Z)
• Non-Uniform Noise-to-Signal Ratio in the REINFORCE Policy-Gradient Estimator [7.36120830971831]
  政策段階的な手法は強化学習に広く用いられているが、学習が進むにつれて訓練が不安定になるか減速する。 我々は、この現象を、真の勾配の2乗ノルムで正規化された推定器分散(ノイズ)として定義される政策段階推定器の雑音-信号比(NSR)を通して研究する(信号)。 様々な例において、NSRのランドスケープは非常に一様ではなく、政策が最適に近づくにつれて、典型的には増加する。
  論文  参考訳（メタデータ） (2026-02-01T22:05:48Z)
• Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
  本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。 R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-06T14:01:42Z)
• Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning [52.97053840476386]
  我々は、よく設計された行動ポリシーを用いて、分散リターン推定を確実に低くするために、政治外のデータを収集できることを示します。 我々は、この重要な洞察を、政策評価と改善の両方がインターリーブされるオンライン強化学習環境に拡張する。
  論文  参考訳（メタデータ） (2025-11-13T23:06:40Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient [34.16700176918835]
  オフライン強化学習は、より良いデータ効率を約束する。 現在の非政治政策勾配法は、高いバイアスまたは高い分散に悩まされ、しばしば信頼できない見積もりを提供する。 閉形式で解ける非パラメトリックベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。