論文の概要: Predicting Long Term Sequential Policy Value Using Softer Surrogates

• arxiv url: http://arxiv.org/abs/2412.20638v2
• Date: Mon, 03 Feb 2025 02:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:06:53.403548
• Title: Predicting Long Term Sequential Policy Value Using Softer Surrogates
• Title（参考訳）: ソフトサロゲートを用いた長期的政策価値の予測
• Authors: Hyunji Nam, Allen Nie, Ge Gao, Vasilis Syrgkanis, Emma Brunskill,
• Abstract要約: オフ政治政策評価は、異なる政策から収集された歴史的データを用いて、新しい政策の結果を推定する。 我々は,全地平線データの10%を観測した後のみ,政策値の正確な予測を行うことができることを示した。
• 参考スコア（独自算出の注目度）: 45.9831721774649
• License:
• Abstract: Off-policy policy evaluation (OPE) estimates the outcome of a new policy using historical data collected from a different policy. However, existing OPE methods cannot handle cases when the new policy introduces novel actions. This issue commonly occurs in real-world domains, like healthcare, as new drugs and treatments are continuously developed. Novel actions necessitate on-policy data collection, which can be burdensome and expensive if the outcome of interest takes a substantial amount of time to observe--for example, in multi-year clinical trials. This raises a key question of how to predict the long-term outcome of a policy after only observing its short-term effects? Though in general this problem is intractable, under some surrogacy conditions, the short-term on-policy data can be combined with the long-term historical data to make accurate predictions about the new policy's long-term value. In two simulated healthcare examples--HIV and sepsis management--we show that our estimators can provide accurate predictions about the policy value only after observing 10\% of the full horizon data. We also provide finite sample analysis of our doubly robust estimators.
• Abstract（参考訳）: オフ政治政策評価(OPE)は、異なる政策から収集された歴史的データを用いて、新しい政策の結果を推定する。 しかし,既存の OPE 手法では,新たなアクションを導入した場合のケース処理は不可能である。 この問題は、医療のような現実世界の領域で、新しい薬物や治療法が継続的に開発されていくため、一般的に発生する。 新たな行動は、例えば複数年間の臨床試験において、関心の結果を観察するのに相当な時間を要する場合、政治上のデータ収集を必要とする。 このことは、政策の短期的効果のみを観察した後、政策の長期的な成果を予測するにはどうすればよいのかという重要な疑問を提起する。 一般にこの問題は難解であるが、いくつかの代理条件の下では、短期の政治データを長期の歴史的データと組み合わせて、新政策の長期的価値を正確に予測することができる。 HIVと敗血症管理の2つのシミュレートされた医療例において、全地平線データの10%を観測した後のみ、我々の推定者が政策価値の正確な予測を行うことができることを示した。 また、二重頑健な推定器の有限サンプル解析も提供する。

関連論文リスト

• Short-Long Policy Evaluation with Novel Actions [26.182640173932956]
  逐次意思決定タスクの短期的政策評価のための新しい設定を提案する。 提案手法は,HIV治療,腎臓透析,バッテリ充電のシミュレーターにおいて,従来よりも有意に優れていた。 また、新しい意思決定ポリシーが過去のポリシーよりも大幅にパフォーマンスが低下する可能性があることを素早く特定することで、AI安全性のアプリケーションに有効な方法を示す。
  論文  参考訳（メタデータ） (2024-07-04T06:42:21Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Identification of Subgroups With Similar Benefits in Off-Policy Policy Evaluation [60.71312668265873]
  我々は,パーソナライズの必要性と自信ある予測とのバランスをとる方法を開発した。 本手法は不均一な治療効果の正確な予測に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-28T23:19:12Z)
• Estimating the Long-Term Effects of Novel Treatments [22.67249938461999]
  政策立案者は通常、新規治療の長期的な効果を見積りたいという問題に直面している。 長期効果が多数の短期プロキシを介してチャネルされることを想定したサロゲートベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-15T13:56:48Z)
• Targeting for long-term outcomes [1.7205106391379026]
  意思決定者は、長期的にのみ観察される結果を最大化するために、介入を標的にしたい場合が多い。 ここでは、欠落した長期的成果を暗示するために、統計的代理と政策学習文献に基づいて構築する。 The Boston Globeにおける2つの大規模プロアクティブチャーン管理実験に本手法を適用した。
  論文  参考訳（メタデータ） (2020-10-29T18:31:17Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。