論文の概要: StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation
- arxiv url: http://arxiv.org/abs/2610.41333v1
- Date: Fri, 30 Oct 2026 06:48:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.634506
- Title: StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation
- Title（参考訳）: StrictPRMBench: 固定スコアPRMアグリゲーション監査のための再生可能な評価ベンチマーク
- Abstract要約: プロセス報酬モデル(PRM)は推論ステップを採点するが、ベスト・オブ・Nの選択にはこれらのスコアを集約するルールも必要である。
我々はこのルールを別の評価対象として研究する。
7つのスコアポイントと2つのベンチマークで、保存されたN=32の結果は、全14細胞における幾何平均 (GM) よりも、製品に対する削除によって引き起こされる選択不安定度が高い。
- 参考スコア（独自算出の注目度）: 4.09524605474098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Process reward models (PRMs) score reasoning steps, but best-of-N selection also requires a rule that aggregates those scores. We study that rule as a separate evaluation object. StrictPRMBench fixes mathematical reasoning pools, scorer evidence, and the source trace of a deletion intervention, so that different reducers face the same recorded selection problem. Across seven scoring checkpoints and two benchmarks, the stored N=32 outcomes give higher deletion-induced selection instability for product than geometric mean (GM) in all 14 cells. The equal-cell difference is +0.0965; a shared-problem bootstrap, conditional on these checkpoints and frozen pools, gives a 95% interval of [0.0846,0.1086]. A pre-injection-defined sensitivity excludes replacement slots that are either reducer's clean winner and retains 4,459 of 4,622 cell-problem records. The retained difference is +0.0986 [0.0875,0.1098]. Effects are heterogeneous: the two Qwen cells have positive percentile-bootstrap intervals on retained support but two-sided exact paired p-values of 0.0625 and 0.0703. Clean-pool Qwen accuracy does not detect a product advantage, but this is not an equivalence result. We provide versioned outcome records, CPU reanalysis, and an explicit evidence-availability contract. The contribution is a diagnostic evaluation protocol and a reproducible audit of recorded selector behavior, not a new PRM, a universally optimal reducer, or evidence of deployment-wide harm. Raw-score replay and outcome-record reanalysis are distinguished: missing primary edited-score vectors limit independent evaluation of new reducers under the same stress.
- Abstract（参考訳）: プロセス報酬モデル(PRM)は推論ステップを採点するが、ベスト・オブ・Nの選択にはこれらのスコアを集約するルールも必要である。
我々はこのルールを別の評価対象として研究する。
StrictPRMBenchは、数学的推論プール、スコアラエビデンス、削除介入のソーストレースを修正し、異なるリデューサが記録された選択問題に直面するようにしている。
7つのスコアポイントと2つのベンチマークで、保存されたN=32の結果は、全14細胞における幾何平均 (GM) よりも、製品に対する削除によって引き起こされる選択不安定度が高い。
等しいセル差は+0.0965であり、チェックポイントと凍結プールの条件付き共有プロブレムブートストラップは[0.0846,0.1086]の95%間隔を与える。
プレインジェクション定義感度は、リデューサのクリーンな勝者であり、4,622の細胞プロブレムレコードの4,459を保持している置換スロットを除外する。
残留する差は+0.0986[0.0875,0.1098]である。
2つのQwen細胞は、維持支持に対して正のパーセンタイル・ブートストラップ間隔を持つが、両側の正確なペアp-値は0.0625と0.0703である。
クリーンプールのQwen精度は製品の利点を検知しないが、これは等価な結果ではない。
我々は、バージョン管理された結果記録、CPUの再分析、明示的なエビデンス・アベイラビリティ契約を提供する。
このコントリビューションは、診断評価プロトコルと、記録されたセレクタの振る舞いの再現可能な監査であり、新しいPRM、普遍的に最適なリデューサ、デプロイメント全体の害の証拠ではない。
原音リプレイと結果記録リアナリシスは区別される: 一次編集音声ベクターの欠如は、同じストレス下での新しいリデューサの独立性評価を制限する。
関連論文リスト
- CÆNL: Collapse-Based Active Neural Learning with Objective-Aligned Representation Control [2.28438857884398]
アクティブラーニングは、後続のラベルを取得するために使われる表現を変更する。
我々は、この相互作用をCNL(Collapse-Based Active Neural Learning)を通して研究し、獲得、動的崩壊規則化(Dynamic Collapse Regularization、DCR)とその係数ポリシーを分離する。
6シードの分類比較は2つのバックボーンのそれぞれに対して、別個の制御選択と10シードの評価による104ランの試験によって補完される。
論文 参考訳（メタデータ） (2026-10-13T00:12:58Z) - MIRTO: a registration-gated, multiverse-tested evaluation protocol for unsupervised anomaly segmentation in brain MRI [0.0]
選択を明示し,その効果を測定する評価プロトコルであるMIRTOを提案する。
MIRTOは、登録チェックとラベルなしの既知のパワー診断との全ての比較の幾何学をゲートする。
15,552個の補正可能な評価パイプラインをそれぞれ比較し、多重度制御によるペアリングされた対象-ブートストラップ間隔を付加する。
論文 参考訳（メタデータ） (2026-10-01T17:44:22Z) - AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳（メタデータ） (2026-10-01T07:24:04Z) - When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。
観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。
完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
論文 参考訳（メタデータ） (2026-09-21T07:06:37Z) - Counterfactual Tool Ranking under Utility, Cost, and Privilege Constraints [7.504639516424482]
本研究は、新しいDR推定器、公式BFCLリーダーボードスコア、プロダクションエージェント安全クレームではなく、偽造可能な評価方法であり、独立した公的証拠である。
不一致保存フォールバックは、5つのサポートギャップ実行すべてでこの特性を達成するが、保守的なサンプリング境界はデプロイメントの改善を証明しない。
2つのピン付きローカルQwen2.5モデルは、同じ200の保持タスクで評価され、固定プロンプトの下での強い失敗が露呈する。
論文 参考訳（メタデータ） (2026-09-19T06:40:09Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On [31.413458927376016]
参照不要な設定を埋めるために、Implicit Error Countingを提案する。
IECは、キャリブレーションされたルーリックに対して何が正しいかをチェックせずに、何が間違っているかを列挙します。
ネーブ明示列挙法は安定な最適化には難しすぎることを示す。
論文 参考訳（メタデータ） (2026-03-05T20:20:04Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。