論文の概要: Model Selection for Off-Policy Evaluation via Pairwise Bellman Validation

• arxiv url: http://arxiv.org/abs/2610.35748v1
• Date: Mon, 26 Oct 2026 16:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.122709
• Title: Model Selection for Off-Policy Evaluation via Pairwise Bellman Validation
• Title（参考訳）: ペアワイズベルマン検証によるオフポリティ評価のためのモデル選択
• Abstract要約: Bellman-Residual と minimax の検証手法は、しばしば別の批評家クラスよりも補助的な回帰や最適化を必要とし、計算とチューニングのコストがかかる。 固定Q関数と占有比推定器の有限クラスの中から、保留遷移を用いた調整不要なミニマックス手順であるペアワイズベルマン検証(PBV)を導入する。 PBVは、ペアの候補差から批判を構成するため、補助的検証モデルや別個の批評家最適化を使わずに、有限個の経験的モーメント計算しか必要としない。
• 参考スコア（独自算出の注目度）: 49.79922461060263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model selection and hyperparameter tuning pose a central challenge in off-policy evaluation (OPE) because errors of fitted Q-functions and occupancy-ratio estimates cannot be directly evaluated from held-out transitions. Bellman-residual and minimax validation methods often require auxiliary regressions or optimization over separate critic classes, adding computational and tuning costs. We introduce pairwise Bellman validation (PBV), a tuning-free minimax procedure for selecting among finite classes of fitted Q-functions and occupancy-ratio estimators using held-out transitions. PBV constructs critics from pairwise candidate differences, requiring only finitely many empirical moment calculations without auxiliary validation models or separate critic optimization. We establish finite-sample oracle inequalities relative to the best available candidate, even under candidate-class misspecification. Our key insight is that Q-function errors and log ratios between candidate and true occupancy ratios provide oracle critics whose Bellman and adjoint Bellman moments control estimation error. Pairwise candidate differences approximate these unknown critics, while penalties account for comparator approximation error. For Q-function selection, we first develop unweighted PBV, which evaluates pairwise Bellman moments under the offline distribution and admits oracle guarantees under a pairwise coercivity condition relating the offline distribution to the target-policy dynamics. We then develop target-aligned PBV (TA-PBV), which uses marginalized importance weighting to provide error control without pairwise coercivity. For occupancy-ratio selection, we develop adjoint PBV (A-PBV), which evaluates adjoint Bellman moments against log-ratio critics. On Hopper and Deep OPE, unweighted PBV performs competitively, while target-occupancy weighting can improve performance in settings with controlled overlap.
• Abstract（参考訳）: モデル選択とハイパーパラメータチューニングは、適合Q関数と占有比推定の誤差を直接評価できないため、オフ政治評価(OPE)において中心的な課題となる。 Bellman-Residual と minimax の検証手法は、しばしば別の批評家クラスよりも補助的な回帰や最適化を必要とし、計算とチューニングのコストがかかる。 固定Q関数と占有比推定器の有限クラスの中から、保留遷移を用いた調整不要なミニマックス手順であるペアワイズベルマン検証(PBV)を導入する。 PBVは、ペアの候補差から批判を構成するため、補助的検証モデルや別個の批評家最適化を使わずに、有限個の経験的モーメント計算しか必要としない。 最適候補に対して有限サンプルオラクル不等式を確立する。 我々の重要な洞察は、Q関数の誤差と、候補と真の占有率の対数比が、ベルマンと隣接するベルマンモーメントが推定誤差を制御するオラクル批評家に与えているということである。 ペアワイズ候補の違いは、これらの未知の批評家を近似し、ペナルティはコンパレータ近似誤差を考慮に入れている。 Q関数選択のために、まず、オフライン分布下でのペアワイズベルマンモーメントを評価し、オフライン分布とターゲットポリティクスに関するペアワイズ保磁条件下でのオラクル保証を認める非重み付きPBVを開発する。 次に, 最小化重み付けを用いた目標整列PBV (TA-PBV) を開発し, ペアの保磁力のない誤差制御を実現する。 占有率選択のために,副次的PBV(A-PBV)を開発し,対数比批判に対する副次的ベルマンモーメントを評価する。 HopperとDeep OPEでは、未重み付きPBVは競合的に動作し、ターゲット占有重み付けは重なりが制御された設定における性能を向上させることができる。

関連論文リスト

• Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations [3.7331041006330494]
  固定混合重量の1段残差と2段残差の凸結合を考える。 理想的な設定では、この混合ベルマン定式化は、制限値関数クラスの下で近似誤差の間の自然なバイアス-分散トレードオフを与えることができる。 固定関数クラスに依存する標準的なアプローチとは異なり、予測される将来の特徴方向を用いてデータ依存の批判表現を構築する。 オーバーフィッティングを制御するために、我々はサンプル分割を用いて批評家を構築し、別のデータサブセットで値関数を推定する。
  論文  参考訳（メタデータ） (2026-09-27T04:09:38Z)
• Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning [40.322273308230606]
  一次元モデルに依存しない後処理法である等速ベルマンキャリブレーションを導入する。 提案手法は, 1次元の非減少型変換に適合した占有率評価(FORE)を適用することにより, 推定値のスケールと形状を補正する。 キャリブレーション・リファインダは, キャリブレーション誤差の小さい任意の適合比が, 最良な後処理とほぼ同等であることを示す。
  論文  参考訳（メタデータ） (2026-08-25T17:44:02Z)
• Fitted Occupancy-Ratio Evaluation without Bellman Completeness [40.322273308230606]
  職業比は、オフライン強化学習における分布シフトを正す。 本稿では, 占有率の低下を特徴付ける固定点配置法である, 占有率評価 (FORE) を提案する。 経験的再帰について、KL における収束を対数比近似誤差に導く有限サンプル後悔境界を確立する。
  論文  参考訳（メタデータ） (2026-07-06T17:53:32Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• To bootstrap or to rollout? An optimal and adaptive interpolation [4.755935781862859]
  本稿では,ブートストラップ法とロールアウト法を補間するベルマン演算子のクラスを紹介する。 我々の推定器は、ブートストラップに基づく時間差(TD)推定器とロールアウトに基づくモンテカルロ(MC)手法の強度を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-14T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。