論文の概要: Verifiable Rewards for Calibrated Probabilistic Forecasting
- arxiv url: http://arxiv.org/abs/2607.00164v1
- Date: Tue, 30 Jun 2026 20:42:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.635417
- Title: Verifiable Rewards for Calibrated Probabilistic Forecasting
- Title（参考訳）: キャリブレーション確率予測のための検証可能なリワード
- Abstract要約: 報酬による強化学習は、調整された確率予測器を訓練することができる。
本研究では,予測自体が校正された出力であり,ラベルがひとつの結果であるアレータリック予測について検討する。
過去の成果から推定した状態条件付き経験的勝利率である,検証可能なラベルなし報酬を導入する。
- 参考スコア（独自算出の注目度）: 3.77661940418406
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reinforcement learning with verifiable rewards can in principle train calibrated probabilistic forecasters, since a proper scoring rule such as the Brier score is computed from outcomes alone and is minimized in expectation by the true probability. In practice it degrades calibration, and existing remedies address epistemic uncertainty, where a model's confidence accompanies a verifiably correct or incorrect answer. We study aleatoric forecasting, where the forecast itself is the output and the label is one stochastic outcome, taking NFL in-game win probability as a testbed with the betting market as a reference. Rewarding the realized per-play outcome fails, because the single outcome is a noisy target and the policy gradient corrupts the chain of thought. We introduce a verifiable, label-free reward, a state-conditioned empirical win rate estimated from past outcomes, that removes the label noise, and we keep the gradient off the reasoning, by direct prediction or a gradient mask, so it cannot be corrupted. Trained with this reward alone, without human labels or supervised fine-tuning, a 7B model reaches the calibration of the betting market by direct prediction and is better calibrated than a zero-shot frontier model. That frontier model and a tabular estimator reach the same Brier score as this model, identifying the market's small remaining edge as live in-game information beyond their shared inputs. Masking the gradient, rather than dropping the chain of thought, preserves reasoning from which the forecast follows, which ordinary chain-of-thought training corrupts.
- Abstract（参考訳）: 検証可能な報酬による強化学習は、ブリアスコアのような適切なスコアリングルールが結果のみから算出され、真の確率によって期待される最小化されるため、原則として列車校正確率予測器を校正することができる。
実際には、キャリブレーションを低下させ、既存の治療は、モデルの信頼度が正解または誤解を伴い、てんかんの不確実性に対処する。
我々は,予測自体がアウトプットであり,ラベルが確率的な結果であり,NFLのゲーム内勝利確率を賭け市場を基準として評価した。
一つの結果がノイズの多いターゲットであり、ポリシーの勾配が思考の連鎖を損なうため、実演ごとの結果の逆転は失敗する。
我々は,過去の結果から推定される,検証可能な,ラベルのない報奨,状態条件付き経験的勝利率を導入し,ラベルノイズを除去し,直接予測や勾配マスクによる推論から勾配を遠ざける。
この報酬だけで訓練され、人間のラベルや監督された微調整なしで、7Bモデルは直接予測により賭け市場のキャリブレーションに達し、ゼロショットフロンティアモデルよりもキャリブレーションが優れている。
そのフロンティアモデルと表計算器は、このモデルと同じブラースコアに達し、市場の小さな残余のエッジを、共有入力を超えるライブゲーム内情報として識別する。
思考の連鎖を落とすのではなく、勾配をメイキングすることは、予測が続く理由を保ち、通常の思考の連鎖訓練は失敗する。
関連論文リスト
- $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳（メタデータ） (2026-08-20T17:58:50Z) - Tailoring Strictly Proper Scoring Rules for Downstream Tasks: An Application to Causal Inference [48.78219918881965]
本稿では,ダウンストリーム誤差メトリックの局所曲率をマッチングすることにより,タスク固有の厳密なスコアリングルールを導出するフレームワークを提案する。
これを平均処理効果 (ATE) 推定に適用し, 閉形式損失と対応する正準確率写像を導出する。
論文 参考訳（メタデータ） (2026-06-02T08:41:25Z) - From Curiosity to Caution: Mitigating Reward Hacking for Best-of-N with Pessimism [30.96634743446629]
我々は,BoNサンプリングにおける報酬ハッキングを著しく軽減する,単純で計算効率のよいアプローチであることを示す。
また、単純化された線形設定の理論解析を行い、標準的なBoNアプローチよりも注意が確実に改善されることを示す。
論文 参考訳（メタデータ） (2026-04-06T12:58:11Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Generative Perturbation Analysis for Probabilistic Black-Box Anomaly
Attribution [2.22999837458579]
ブラックボックス回帰設定における確率的異常帰属の課題に対処する。
このタスクは、ブラックボックスモデル自体ではなくブラックボックス予測からの異常な逸脱を説明するため、標準的なXAI(説明可能なAI)シナリオとは異なる。
本稿では,確率的帰属属性を予測平均として計算するだけでなく,その不確かさを定量化するための,確率的帰属属性の新たな枠組みを提案する。
論文 参考訳（メタデータ） (2023-08-09T04:59:06Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳（メタデータ） (2022-11-29T18:41:20Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - Faster online calibration without randomization: interval forecasts and
the power of two choices [43.17917448937131]
本研究では,逆数の性質によって生成される2進数列に対する校正確率予測問題について検討する。
2つの選択の力」と不正確な確率論の研究に触発され、我々は標準的なオンラインキャリブレーション問題の小さな変種について研究する。
論文 参考訳（メタデータ） (2022-04-27T17:33:23Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。