論文の概要: Efficient and Sharp Off-Policy Learning under Unobserved Confounding

• arxiv url: http://arxiv.org/abs/2502.13022v1
• Date: Tue, 18 Feb 2025 16:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:15.083716
• Title: Efficient and Sharp Off-Policy Learning under Unobserved Confounding
• Title（参考訳）: 観測不能条件下での効率的かつシャープなオフポリティ学習
• Authors: Konstantin Hess, Dennis Frauen, Valentyn Melnychuk, Stefan Feuerriegel,
• Abstract要約: 本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。 本手法は,未観測のコンバウンディングが問題となるような意思決定に極めて有用である。
• 参考スコア（独自算出の注目度）: 25.068617118126824
• License:
• Abstract: We develop a novel method for personalized off-policy learning in scenarios with unobserved confounding. Thereby, we address a key limitation of standard policy learning: standard policy learning assumes unconfoundedness, meaning that no unobserved factors influence both treatment assignment and outcomes. However, this assumption is often violated, because of which standard policy learning produces biased estimates and thus leads to policies that can be harmful. To address this limitation, we employ causal sensitivity analysis and derive a statistically efficient estimator for a sharp bound on the value function under unobserved confounding. Our estimator has three advantages: (1) Unlike existing works, our estimator avoids unstable minimax optimization based on inverse propensity weighted outcomes. (2) Our estimator is statistically efficient. (3) We prove that our estimator leads to the optimal confounding-robust policy. Finally, we extend our theory to the related task of policy improvement under unobserved confounding, i.e., when a baseline policy such as the standard of care is available. We show in experiments with synthetic and real-world data that our method outperforms simple plug-in approaches and existing baselines. Our method is highly relevant for decision-making where unobserved confounding can be problematic, such as in healthcare and public policy.
• Abstract（参考訳）: 本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。 標準政策学習は、未確立性を前提としており、未観測の要因が治療の課題と結果の両方に影響を与えることはない。 しかし、標準的な政策学習がバイアスのある見積もりを生み出し、有害な政策につながるため、この仮定はしばしば違反される。 この制限に対処するために、因果感度解析を用い、観測不能な共役条件下での値関数のシャープバウンドに対する統計的に効率的な推定器を導出する。 推定器には3つの利点がある: (1) 既存の作業とは異なり、推定器は逆の確率重み付け結果に基づいて不安定なミニマックス最適化を避ける。 2)推定器は統計的に効率的である。 (3) 推定器が最適共起ロバスト政策に導かれることを実証する。 最後に、ケア基準などの基本方針が利用可能である場合に、観測不能な条件下での政策改善の関連課題に私たちの理論を拡張します。 提案手法は, 簡易なプラグイン手法や既存のベースラインよりも優れる, 合成および実世界のデータを用いて実験を行った。 本手法は, 医療や公共政策など, 未解決のコンバウンディングが問題となるような意思決定に極めて有用である。

関連論文リスト

• Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
  我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。 ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。 我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-10-10T02:45:50Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Distributionally Robust Batch Contextual Bandits [20.667213458836734]
  歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。 既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。 本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-10T03:11:40Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)
• Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning [80.42316902296832]
  行動政策から逸脱した観点から定義される自然政策の効果的な非政治的評価について検討する。 これは、ほとんどの著作が明示された政策の評価を考慮に入れている、政治外の評価に関する文献から逸脱している。
  論文  参考訳（メタデータ） (2020-06-06T15:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。