論文の概要: Distributionally-Robust Policy Learning with Observational Data

• arxiv url: http://arxiv.org/abs/2610.25591v1
• Date: Sun, 18 Oct 2026 23:39:54 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:41:50.315042
• Title: Distributionally-Robust Policy Learning with Observational Data
• Title（参考訳）: 観測データを用いた分散ロバスト政策学習
• Abstract要約: 政策学習は、パーソナライズされた医療から福祉プログラムターゲティングまで、幅広い応用に不可欠である。 条件付き処理効果のためのクロスフィット2次ロバストスコアを用いた推定器を提案する。 Tsybakov-style margin 条件下では、推定器は$widetildeO(n-(1+)/(2+)$の高速な速度が得られる。
• 参考スコア（独自算出の注目度）: 8.809198293857284
• License:
• Abstract: Policy learning from observational data is fundamental to applications ranging from personalized medicine to welfare-program targeting, but standard approaches optimize empirical performance and may fail when the deployment distribution differs from the training distribution. We study \emph{distributionally-robust policy learning}: given observational data, we seek a policy $π\in Π$ that maximizes the worst-case policy value over an $f$-divergence ball of radius $ρ$ around the data-generating distribution. We propose an estimator built on cross-fitted doubly-robust scores for the conditional treatment effect, paired with a DRO solver that handles \texttt{KL}, $χ^2$, and \texttt{CVaR} ambiguity sets. We establish two convergence guarantees. First, the estimated policy attains the standard $\widetilde{O}(n^{-1/2})$ rate on its DRO regret, and inherits the doubly-robust property -- the rate continues to hold whenever either the outcome model or the propensity model is consistently estimated, even at slow nonparametric rates. We then propose a sample-splitting bias-correction algorithm derived from the Lagrangian dual, and show that under a Tsybakov-style margin condition on the treatment-effect, the estimator attains a fast rate of $\widetilde{O}(n^{-(1+α)/(2+α)})$ , interpolating between $\widetilde{O}(1/\sqrt{n})$ and $\widetilde{O}(1/n)$ as the margin parameter $α$ ranges over $[0,\infty)$. To our knowledge, this is the first work to incorporate a margin condition into the analysis of distributionally-robust policy learning, and the first to obtain fast rates in this setting. Empirically, on synthetic and semi-synthetic experiments calibrated to a welfare-to-work program, distributional robustness yields meaningful improvements over empirical welfare maximization when training and test distributions differ.
• Abstract（参考訳）: 観察データからの政策学習は、パーソナライズされた医療から福祉プログラムターゲティングに至るまでの応用に不可欠であるが、標準的なアプローチは経験的性能を最適化し、展開分布がトレーニング分布と異なる場合に失敗する可能性がある。 観測データから,データ生成分布の周囲に約$ρ$の半径を持つ$f$偏差球に対して,最悪の政策値の最大化を図る。 そこで本稿では, 条件付き処理効果のためのクロスフィット2次ロバストスコアを用いた推定器を提案し, DROソルバと組み合わせて, \texttt{KL}, $ ^2$, \texttt{CVaR} の曖昧性集合を処理する。 私たちは2つの収束保証を確立します。 第一に、推定されたポリシーは、DROの後悔に対して標準の$\widetilde{O}(n^{-1/2})$レートに達し、二重の腐食特性を継承する。 次に、ラグランジアン双対から導かれるサンプル分割バイアス補正アルゴリズムを提案し、その処理効果に対するツィバコフ型マージン条件の下で、推定器は、$\widetilde{O}(n^{-(1+α)/(2+α)})$ と$\widetilde{O}(1/\sqrt{n})$と$\widetilde{O}(1/n)$を、マージンパラメータ$α$が$[0,\infty)$で補間できることを示す。 我々の知る限り、このことは、分散ロバストな政策学習の分析にマージン条件を組み込んだ最初の研究であり、この設定で高速なレートを得る最初の研究である。 実験的に、福祉と労働のプログラムに調整された合成および半合成実験において、分散ロバスト性は、トレーニングとテストの分布が異なる場合、経験的福祉の最大化よりも有意義な改善をもたらす。

関連論文リスト

• Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
  REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。 我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。 任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
  論文  参考訳（メタデータ） (2026-09-29T07:54:06Z)
• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• On the Learning Curves of Revenue Maximization [62.087200798198786]
  学習曲線は、トレーニングサンプル数の関数として、固定された基礎分布に対するアルゴリズムの誤差の減衰をプロットする。 収益を最大化する学習アルゴリズムに関する先行研究は、学習理論におけるPAC学習フレームワークと並行して、分散のない視点を採用する。 ベイズ一貫性アルゴリズムが存在し、任意の評価分布に対して学習曲線が0に収束することを示す。
  論文  参考訳（メタデータ） (2026-04-29T17:38:25Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Approximating $f$-Divergences with Rank Statistics [0.3222802562733787]
  ランクの分布を直接扱うことで、明示的な密度比推定を避けるために、$f$-divergencesのランク統計近似を導入する。 発散の結果として生じる推定量は、K$の単調であり、常に真$f$-発散の下位境界であることを示す。 ニューラルベースラインに対するベンチマークによるアプローチを実証的に検証し,生成モデル実験における学習目的としての利用を例証する。
  論文  参考訳（メタデータ） (2026-01-30T10:05:33Z)
• DRO-REBEL: Distributionally Robust Relative-Reward Regression for Fast and Efficient LLM Alignment [0.0]
  人的フィードバックによる強化学習(RLHF)は,大規模言語モデル(LLM)と人間の意図の整合に欠かせないものとなっている。 DRO-REBELは、タイプ=$p$Wasserstein, KL, $chi2$ ambiguity集合を持つ堅牢なREBEL更新の集合である。 Fenchelの双対性を利用することで、各更新は単純な相対回帰レグレッションに還元され、スケーラビリティが保たれ、PPOスタイルのクリッピングや補助値ネットワークが回避される。
  論文  参考訳（メタデータ） (2025-09-23T14:49:48Z)
• Distributionally Robust Policy Learning under Concept Drifts [33.44768994272614]
  本稿では、より曖昧な問題、つまり、コンセプトドリフトの下でのロバストな政策学習について研究する。 まず、与えられた政策の最悪の平均報酬を評価するための2倍のロバスト推定器を提供する。 次に、所定のポリシークラス内で推定されたポリシー値を最大化するポリシーを出力する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-18T19:53:56Z)
• Statistical Efficiency of Distributional Temporal Difference Learning and Freedman's Inequality in Hilbert Spaces [24.03281329962804]
  本稿では,分布時間差学習における非漸近的統計率に着目した。 生成モデルを用いたNTDの場合、$tildeO(varepsilon-2 mu_pi,min-1 (1-gamma)-3+t_mixmu_pi,min-1 (1-gamma)-1)$サンプル複雑性境界はワッサーシュタイン距離が1ドルである場合に必要である。 我々は新しいフリードマンの不平等を樹立する
  論文  参考訳（メタデータ） (2024-03-09T06:19:53Z)
• Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
  オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。 近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。 KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-19T20:00:44Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。