論文の概要: Predicting Long Term Sequential Policy Value Using Softer Surrogates

• arxiv url: http://arxiv.org/abs/2412.20638v2
• Date: Mon, 03 Feb 2025 02:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:06:53.403548
• Title: Predicting Long Term Sequential Policy Value Using Softer Surrogates
• Title（参考訳）: ソフトサロゲートを用いた長期的政策価値の予測
• Authors: Hyunji Nam, Allen Nie, Ge Gao, Vasilis Syrgkanis, Emma Brunskill,
• Abstract要約: オフ政治政策評価は、異なる政策から収集された歴史的データを用いて、新しい政策の結果を推定する。 我々は,全地平線データの10%を観測した後のみ,政策値の正確な予測を行うことができることを示した。
• 参考スコア（独自算出の注目度）: 45.9831721774649
• License:
• Abstract: Off-policy policy evaluation (OPE) estimates the outcome of a new policy using historical data collected from a different policy. However, existing OPE methods cannot handle cases when the new policy introduces novel actions. This issue commonly occurs in real-world domains, like healthcare, as new drugs and treatments are continuously developed. Novel actions necessitate on-policy data collection, which can be burdensome and expensive if the outcome of interest takes a substantial amount of time to observe--for example, in multi-year clinical trials. This raises a key question of how to predict the long-term outcome of a policy after only observing its short-term effects? Though in general this problem is intractable, under some surrogacy conditions, the short-term on-policy data can be combined with the long-term historical data to make accurate predictions about the new policy's long-term value. In two simulated healthcare examples--HIV and sepsis management--we show that our estimators can provide accurate predictions about the policy value only after observing 10\% of the full horizon data. We also provide finite sample analysis of our doubly robust estimators.
• Abstract（参考訳）: オフ政治政策評価(OPE)は、異なる政策から収集された歴史的データを用いて、新しい政策の結果を推定する。 しかし,既存の OPE 手法では,新たなアクションを導入した場合のケース処理は不可能である。 この問題は、医療のような現実世界の領域で、新しい薬物や治療法が継続的に開発されていくため、一般的に発生する。 新たな行動は、例えば複数年間の臨床試験において、関心の結果を観察するのに相当な時間を要する場合、政治上のデータ収集を必要とする。 このことは、政策の短期的効果のみを観察した後、政策の長期的な成果を予測するにはどうすればよいのかという重要な疑問を提起する。 一般にこの問題は難解であるが、いくつかの代理条件の下では、短期の政治データを長期の歴史的データと組み合わせて、新政策の長期的価値を正確に予測することができる。 HIVと敗血症管理の2つのシミュレートされた医療例において、全地平線データの10%を観測した後のみ、我々の推定者が政策価値の正確な予測を行うことができることを示した。 また、二重頑健な推定器の有限サンプル解析も提供する。

関連論文リスト

• Short-Long Policy Evaluation with Novel Actions [26.182640173932956]
  逐次意思決定タスクの短期的政策評価のための新しい設定を提案する。 提案手法は,HIV治療,腎臓透析,バッテリ充電のシミュレーターにおいて,従来よりも有意に優れていた。 また、新しい意思決定ポリシーが過去のポリシーよりも大幅にパフォーマンスが低下する可能性があることを素早く特定することで、AI安全性のアプリケーションに有効な方法を示す。
  論文  参考訳（メタデータ） (2024-07-04T06:42:21Z)
• OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators [13.408838970377035]
  オフライン政策評価(OPE)により、新たなシーケンシャルな意思決定方針のパフォーマンスを評価し、見積もることができる。 統計的手法を用いた明示的な選択に頼ることなく,データセットに与えられたOPE推定器の集合を適応的にブレンドするアルゴリズムを提案する。 我々の研究は、オフラインRLのための汎用的、推定対象に依存しない、非政治評価フレームワークの使いやすさの向上に寄与する。
  論文  参考訳（メタデータ） (2024-05-27T23:51:20Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Identification of Subgroups With Similar Benefits in Off-Policy Policy Evaluation [60.71312668265873]
  我々は,パーソナライズの必要性と自信ある予測とのバランスをとる方法を開発した。 本手法は不均一な治療効果の正確な予測に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-28T23:19:12Z)
• Sayer: Using Implicit Feedback to Optimize System Policies [63.992191765269396]
  我々は、暗黙のフィードバックを活用して、新しいシステムポリシーを評価し、訓練する方法論を開発する。 Sayerは、強化学習の2つのアイデアに基づいて、既存のポリシーで収集されたデータを活用する。 Sayer氏は任意のポリシーを正確に評価し、生産ポリシーを上回るような新しいポリシーをトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-10-28T04:16:56Z)
• Offline Policy Selection under Uncertainty [113.57441913299868]
  我々は、オフラインポリシーの選択を、一定の経験データセットを与えられた政策予測のセットよりも学習の選好とみなす。 政策価値に対する信念に対する完全な分布へのアクセスは、より幅広い下流評価指標の下でより柔軟な選択アルゴリズムを可能にする。 BayesDICEが任意の下流ポリシー選択メトリックに関してポリシーのランク付けにどのように使用されるかを示します。
  論文  参考訳（メタデータ） (2020-12-12T23:09:21Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。