論文の概要: Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.24858v1
• Date: Tue, 25 Aug 2026 17:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.117104
• Title: Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習における重要度重み付けのためのベルマン校正
• Abstract要約: 一次元モデルに依存しない後処理法である等速ベルマンキャリブレーションを導入する。 提案手法は, 1次元の非減少型変換に適合した占有率評価(FORE)を適用することにより, 推定値のスケールと形状を補正する。 キャリブレーション・リファインダは, キャリブレーション誤差の小さい任意の適合比が, 最良な後処理とほぼ同等であることを示す。
• 参考スコア（独自算出の注目度）: 40.322273308230606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Marginalized importance weighting evaluates a target policy by reweighting offline state-action samples with its discounted occupancy ratio, characterized by an adjoint Bellman equation. Existing minimax, primal-dual, and fitted fixed-point estimators can leave residual occupancy-balance violations because of function-class approximation, regularization, or incomplete optimization. These violations are difficult to diagnose and reduce because the objectives generally lack a direct supervised validation loss for hyperparameter tuning, model selection, and early stopping. We introduce isotonic Bellman calibration, a one-dimensional, model-agnostic post-processing method that reduces these violations while preserving the ranking information in any initial occupancy-ratio estimate. The method corrects the estimate's scale and shape by applying fitted occupancy-ratio evaluation (FORE) over a one-dimensional class of nondecreasing transformations. We characterize Bellman calibration as a conditional fixed-point property equivalent to occupancy-balance against every test function of the calibrated ratio. More generally, we derive a calibration-refinement bound showing that any fitted ratio with small calibration error performs nearly as well as the best post-processing based on its fitted values. For isotonic Bellman calibration, we establish finite-sample calibration guarantees and a KL oracle inequality relative to the best monotone transformation of the initial estimate. Consequently, isotonic Bellman calibration achieves small calibration error and KL risk within statistical error of the best monotone correction, with guarantees for downstream target-occupancy functionals, including policy-value estimation.
• Abstract（参考訳）: Marginalized importance weightingは、隣接するベルマン方程式によって特徴づけられる割引占有率でオフライン状態反応サンプルを再重み付けすることで、ターゲットポリシーを評価する。 既存のミニマックス、原始双対、固定点推定器は、関数クラスの近似、正規化、あるいは不完全最適化のために残余の占有バランス違反を残すことができる。 これらの違反は、一般的に、ハイパーパラメータチューニング、モデル選択、早期停止のための直接監督された検証損失を欠いているため、診断と縮小が困難である。 我々は,初期占有率推定値のランキング情報を保存しながら,これらの違反を低減する1次元モデルに依存しない後処理手法であるアイソトニックベルマンキャリブレーションを導入する。 本手法は, 1次元の非減少型変換に適合した占有率評価(FORE)を適用することにより, 推定値のスケールと形状を補正する。 我々は,ベルマン校正を,校正比の全ての試験関数に対する占有バランスに相当する条件的不動点特性として特徴づける。 より一般的には、キャリブレーション補正境界から、小さなキャリブレーション誤差を持つ任意の嵌合比が、その嵌合値に基づいて最も良い後処理を行うことを示す。 等速ベルマン校正では、初期推定値の最良の単調変換に対して有限サンプル校正保証とKLオラクル不等式を確立する。 その結果、イソトニックベルマン校正は、政策値推定を含む下流の目標占有関数を保証し、最良の単調補正の統計的誤差において、小さな校正誤差とKLリスクを達成する。

関連論文リスト

• Bellman Calibration for V-Learning in Offline Reinforcement Learning [40.322273308230606]
  本稿では, 簡易かつモデルに依存しないポストホック法であるイテレーテッドベルマンを導入する。 古典的ヒストグラムとアイソトニックキャリブレーションを動的, 反実的設定に適応させる。 これにより、任意の値推定器に適用可能な1次元の適合値スキームが得られる。
  論文  参考訳（メタデータ） (2025-12-29T18:52:18Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Parametric $ρ$-Norm Scaling Calibration [8.583311125489942]
  出力の不確実性は、確率的特性がモデル出力の客観的特性を反映しているかどうかを示す。 本稿では,処理後パラメトリックキャリブレーション法である$rho$-Norm Scalingを導入し,キャリブレータ表現を拡張し,過度な振幅による過信を緩和する。
  論文  参考訳（メタデータ） (2024-12-19T10:42:11Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Consistent and Asymptotically Unbiased Estimation of Proper Calibration Errors [23.819464242327257]
  本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。 ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。 本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
  論文  参考訳（メタデータ） (2023-12-14T01:20:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。