論文の概要: Prior-Data Fitted Networks for In-Context Off-Policy Evaluation

• arxiv url: http://arxiv.org/abs/2610.34035v1
• Date: Sun, 25 Oct 2026 03:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.522706
• Title: Prior-Data Fitted Networks for In-Context Off-Policy Evaluation
• Title（参考訳）: In-Context Off-Policy評価のための事前データフィットネットワーク
• Abstract要約: オフ政治評価は、デプロイ前に意思決定ポリシーを評価するために不可欠である。 我々は、合成OPEタスク間で共有ポリシー値予測ルールを学習する事前データ付きネットワークであるInCOPEを提案する。
• 参考スコア（独自算出の注目度）: 10.452420569386623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Off-policy evaluation (OPE) is essential for assessing decision policies before deployment when online experimentation is costly or unsafe. Accurate estimation remains difficult when behavior-policy data are limited and the target policy favors states and actions rarely observed in those data. We propose InCOPE, a prior-data fitted network that learns a shared policy-value prediction rule across synthetic OPE tasks. We construct an OPE task prior over Markov decision processes and behavior-target policy pairs, generating behavior-policy datasets and exact target-policy values for pretraining. For a new tabular decision problem, the pretrained network uses the behavior-policy dataset, target policy, and known task settings as context to predict the policy's expected return without task-specific parameter updates. Experiments across four tabular domains, including a semi-synthetic clinical setting, demonstrate InCOPE's effectiveness for policy-value estimation.
• Abstract（参考訳）: オフライン評価(OPE)は、オンライン実験がコストがかかる場合や安全でない場合、デプロイ前に意思決定ポリシーを評価するために不可欠である。 行動政治データが制限され、対象方針がそれらのデータでほとんど観察されない状態や行動を好む場合、正確な推定は依然として困難である。 我々は、合成OPEタスク間で共有ポリシー値予測ルールを学習する事前データ付きネットワークであるInCOPEを提案する。 我々はマルコフ決定プロセスと行動目標ポリシーペアに先立ってOPEタスクを構築し、事前学習のための行動ポリティクスデータセットと正確な目標ポリティクス値を生成する。 新しい表付き決定問題に対して、事前訓練されたネットワークは、タスク固有のパラメータ更新なしでポリシーの予測リターンを予測するために、行動ポリシーデータセット、ターゲットポリシー、既知のタスク設定をコンテキストとして使用する。 半合成臨床設定を含む4つの表領域にわたる実験は、ポリシー値の推定に対するInCOPEの有効性を実証する。

関連論文リスト

• Logging Policy Design for Off-Policy Evaluation [0.509780930114934]
  オフ政治評価(OPE)は、異なるロギングポリシーによって収集されたデータを用いて、対象の処理ポリシーの値を推定する。 対象とするポリシに対して,OPEエラーを最小限に抑えるロギングポリシの設計方法について検討する。
  論文  参考訳（メタデータ） (2026-05-14T17:25:19Z)
• Off-Policy Evaluation for Ranking Policies under Deterministic Logging Policies [17.672063433232196]
  オフ・ポリティ・アセスメント(OPE)は、ランキングシステムにおいて重要な実践的問題である。 目標は、異なるログポリシの下で収集されたオフラインデータのみを使用して、新たなランキングポリシのパフォーマンスを見積もることである。 本稿では,この課題に対処するために,ユーザクリック動作の本質性を活かしたClick-based Inverse Propensity Score (CIPS) を提案する。
  論文  参考訳（メタデータ） (2026-03-23T02:13:39Z)
• Beating the Winner's Curse via Inference-Aware Policy Optimization [26.01488014918074]
  一般的なアプローチは、機械学習モデルをトレーニングして反現実的な結果を予測し、予測された客観的価値を最適化するポリシーを選択することである。 提案手法は,政策を下流でどのように評価するかを考慮し,政策最適化を改良する,推論対応政策最適化と呼ばれる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-20T23:28:12Z)
• When is Off-Policy Evaluation (Reward Modeling) Useful in Contextual Bandits? A Data-Centric Perspective [64.73162159837956]
  ログ化されたデータセットだけで仮説的ターゲットポリシーの価値を評価することは重要だが、難しい。 データ中心のフレームワークであるDataCOPEを提案する。 医療データセットを用いたログ化された文脈的帯域設定におけるDataCOPEの実証分析により、機械学習と人間の専門家ポリシーの両方を評価する能力が確認された。
  論文  参考訳（メタデータ） (2023-11-23T17:13:37Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• On the Value of Myopic Behavior in Policy Reuse [67.37788288093299]
  未知のシナリオで学習戦略を活用することは、人間の知性の基本である。 本稿では,Selectivemyopic bEhavior Control(SMEC)というフレームワークを提案する。 SMECは、事前ポリシーの共有可能な短期的行動とタスクポリシーの長期的行動を適応的に集約し、協調的な決定につながる。
  論文  参考訳（メタデータ） (2023-05-28T03:59:37Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。