論文の概要: Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation

• arxiv url: http://arxiv.org/abs/2610.10974v1
• Date: Wed, 07 Oct 2026 22:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.694013
• Title: Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
• Title（参考訳）: オフ・ポリティクス評価のための予算付き多元対応アノテーション
• Abstract要約: オフポリシー評価は、ログデータからターゲットポリシーの値を推定する。 偽造アノテーションは、観測されていないアクションに関する証拠を追加することができる。 我々は,文脈帯域OPEにおけるこのようなアノテーションの予算的取得について検討する。
• 参考スコア（独自算出の注目度）: 4.148395072152726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Off-policy evaluation (OPE) estimates the value of a target policy from logged data, but limited behavior-policy coverage can force high-variance reweighting or reward-model extrapolation. Counterfactual annotations can add evidence about unobserved actions, yet practical sources, including domain experts and large language models (LLMs), may be costly, biased, or noisy. We study budgeted acquisition of such annotations for contextual-bandit OPE. Given source-specific costs and error profiles, we formulate an integer allocation problem over context-action pairs and annotation sources to minimize the component of estimator variance that depends on the annotation plan. We characterize when annotations are valuable through a first-annotation threshold and local annotation-value regimes. For the coupled multi-source problem, we develop a majorization-minimization algorithm with dynamic-programming subroutines that monotonically improves the objective. Experiments in synthetic clinical and LLM-annotated education bandits show that our allocation method reduces fixed-profile mean squared error (MSE) by 20.58% and 10.77%, respectively, relative to no annotation.
• Abstract（参考訳）: オフ・ポリシー評価(OPE)は、ログデータからターゲットポリシーの価値を推定するが、行動-ポリシーカバレッジの制限は、高分散再重み付けや報酬モデル外挿を強制する可能性がある。 反現実的なアノテーションは、観測されていないアクションに関する証拠を付加することができるが、ドメインの専門家や大規模言語モデル(LLM)を含む実践的な情報源は、コストがかかり、偏りがあり、うるさい。 我々は,文脈帯域OPEにおけるこのようなアノテーションの予算的取得について検討する。 ソース固有のコストと誤差プロファイルを考慮し、文脈-アクションペアとアノテーションソースの整数割り当て問題を定式化し、アノテーション計画に依存する推定値分散の成分を最小化する。 我々は、アノテーションが第一アノテーション閾値と局所アノテーション値レシエーションによって価値がある場合の特徴付けを行う。 結合したマルチソース問題に対して,動的プログラミングサブルーチンを用いた最大化最小化アルゴリズムを開発し,その目的を単調に改善する。 臨床およびLCMを付加した教育用バンディットを用いた実験では, アノテーションを使用せず, 固定的な平均二乗誤差(MSE)を20.58%, 10.77%削減できることがわかった。

関連論文リスト

• Optimal Sequential Annotations for Off-Policy Evaluation [6.229769300329017]
  そこで本研究では,OPEを2倍に損なうことで,データアノテーションのための限られた予算を利用できることを示す。 逐次フォワードモノトーンアノテーションプロトコルの最適アノテーション確率を特徴付ける。 私たちの仕事は、個人のためのケースノートを書くホームレスサービスNPOとのコラボレーションによって動機付けられています。
  論文  参考訳（メタデータ） (2026-09-22T17:00:22Z)
• PRECISE: Reducing the Bias of LLM Evaluations Using Prediction-Powered Ranking Estimation [3.867363075280545]
  予測パワー推論(PPI)は、最小限の人間のアノテーションとLLM(Large Language Models)を組み合わせることで、メトリクスの信頼性の高い推定値を生成する。 提案手法では,100件の人間アノテーションクエリと1万件の未ラベル例が必要であり,アノテーションの要求を大幅に低減する。
  論文  参考訳（メタデータ） (2026-01-26T18:46:49Z)
• Variance-Aware LLM Annotation for Strategy Research: Sources, Diagnostics, and a Protocol for Reliable Measurement [0.3228822469249803]
  大規模言語モデル(LLM)は、戦略研究者が大規模にテキストを注釈付けするための強力なツールを提供する。 しかし、LCM生成ラベルを決定論的見落としとして扱うことは、かなり不安定である。 我々は,構成仕様,インターフェース効果,モデル嗜好,出力抽出,システムレベルの集約という,5つのばらつき源を診断する。
  論文  参考訳（メタデータ） (2025-12-02T18:02:20Z)
• Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning [50.93804891554481]
  従来の逆確率スコア推定よりも優れた対数推定演算子(log-sum-exponential (LSE)演算子)に基づく新しい推定器を提案する。 我々のLSE推定器は, 重み付き条件下での分散低減とロバスト性を示す。 政治以外の学習シナリオでは、LSE推定器と最適ポリシーの間のパフォーマンスギャップである後悔の限界を確立します。
  論文  参考訳（メタデータ） (2025-06-07T17:37:10Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
  機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。 本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。 APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-07-20T16:31:19Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。