論文の概要: Process Reward Modeling with Reliability- and Conservatism-Aware Bayesian Belief

• arxiv url: http://arxiv.org/abs/2610.23223v1
• Date: Fri, 16 Oct 2026 09:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.859298
• Title: Process Reward Modeling with Reliability- and Conservatism-Aware Bayesian Belief
• Title（参考訳）: 信頼性・保守性を考慮したプロセス・リワード・モデリング-ベイズ的信念を意識して
• Abstract要約: プロセス・リワード・モデル(PRM)は、大規模言語モデル(LLM)の推論において、テスト時のスケーリングにおいて中心的な役割を果たす。 PRMはテストタイムのスケーリングに不正確なプロセス報酬を与える可能性がある。 本稿では,プロセス報酬を報酬仮説空間内のランダム変数として扱い,それに対するベイズ的信念を維持するベイズPRMを提案する。
• 参考スコア（独自算出の注目度）: 30.086584440518987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Process Reward Models (PRMs) play a central role in test-time scaling for large language model (LLM) reasoning. However, PRMs may provide inaccurate process rewards for test-time scaling, which we identify as arising from two sources of uncertainty: (1) \textit{PRM uncertainty} that arises from insufficient supervision data and imperfect PRM training; and (2) \textit{policy uncertainty} that results from the mismatch between the policy to collect supervision data and the policy for test-time scaling, leading to systematic reward overestimation. Previous studies fail to jointly consider both uncertainties. To bridge this gap, we propose BayesianPRM, which treats the process reward as a random variable within a reward hypothesis space and maintains a Bayesian belief over it. Since exact Bayesian inference over the continuous hypothesis space is generally intractable, we discretize the reward hypothesis space with a reward ensemble and introduce two complementary belief updates, each targeting one source of uncertainty: (1) to address PRM uncertainty, we introduce \textit{reliability-aware belief updating} that measures how well each ensemble member explains the supervision data and updates the belief with an amortized belief network optimized by the evidence lower bound (ELBO); and (2) to tackle policy uncertainty, we propose \textit{conservatism-aware belief calibration} which further reweights the belief toward lower rewards to suppress overestimation. These two updates yield a reliability- and conservatism-aware Bayesian belief, whose expectation determines the process reward. Experiments on multimodal reasoning benchmarks indicate that BayesianPRM consistently yields more accurate process reward estimates while enhancing test-time scaling performance.
• Abstract（参考訳）: プロセス・リワード・モデル(PRM)は、大規模言語モデル(LLM)の推論において、テスト時のスケーリングにおいて中心的な役割を果たす。 しかし, PRMは, 不完全な監視データから生じる不確実性, 不完全なPRMトレーニング, 2) 監視データ収集方針とテストタイムスケーリング方針とのミスマッチから生じる不確実性, 体系的な報酬過大評価の2つの源から生じる, テストタイムスケーリングに対する不正確なプロセス報酬を提供する可能性がある。 以前の研究では、両方の不確実性について共同で検討することができなかった。 このギャップを埋めるために、我々はプロセス報酬を報酬仮説空間内のランダム変数として扱い、それに対するベイズ的信念を維持するベイズPRMを提案する。 PRMの不確実性に対処するために、各アンサンブルメンバーがいかにして監督データを説明し、証拠の低い境界(ELBO)に最適化された暗黙的信念ネットワークを用いて信念を更新するかを測る「textit{reliability-aware belief updates}」を導入し、政策の不確実性に対処するため、より低い報酬に対する信念を過大評価を抑制する「textit{conservatism-aware belief calibration」を提案する。 これら2つの更新は信頼性と保守主義を意識したベイズ的信念をもたらし、その期待がプロセス報酬を決定する。 マルチモーダル推論ベンチマークの実験は、ベイジアンPRMがテスト時間スケーリング性能を高めながら、常により正確なプロセス報酬推定値が得られることを示している。

関連論文リスト

• Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking [0.0]
  現実世界の目的はしばしば不確実であり、文脈に依存し、内部的に矛盾している。 このミスマッチは、報酬のハッキング、過度な最適化、過度に信頼された振る舞いなど、アライメントの失敗につながる可能性がある。 本稿では,評価の不確かさと人間の嗜好の不確実性の両方を明示的にモデル化する二元的不確実性認識報酬フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-29T07:14:01Z)
• Rethinking Uncertainty in Segmentation: From Estimation to Decision [0.0]
  医用画像のセグメンテーションでは、不確実性推定がしばしば報告されるが、意思決定を導くために使われることは稀である。 セグメンテーションを2段階のパイプラインとして定式化し、それに続く決定を行い、不確実性のみを最適化することは、達成可能な安全性向上のほとんどを達成できないことを示す。 以上の結果から,最も優れた手法とポリシーの組み合わせは,最大80%のセグメンテーション誤差をわずか25%のdeferralで除去できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-14T19:52:05Z)
• Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
  大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。 内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:11Z)
• Beyond the Mean: Distribution-Aware Loss Functions for Bimodal Regression [13.50774354486614]
  正規化RMSEとワッサースタイン距離とクラメール距離を組み合わせた分布認識損失関数のファミリーを提案する。 我々のフレームワークは、信頼性と堅牢性の両方においてMDNを厳格に支配し、信頼できるAIシステムにおけるアレタリック不確実性推定のための信頼性の高いツールを提供する。
  論文  参考訳（メタデータ） (2026-03-20T18:37:05Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness [4.14360329494344]
  フェアネスにおける不確実性評価のための公理的ベンチマークであるFairlyUncertainを紹介する。 我々のベンチマークは、予測の不確実性推定は学習パイプライン間で一貫性があり、観測されたランダム性に調整されるべきである、と示唆している。
  論文  参考訳（メタデータ） (2024-10-02T20:15:29Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。