論文の概要: Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR

• arxiv url: http://arxiv.org/abs/2610.17824v1
• Date: Tue, 13 Oct 2026 06:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.536047
• Title: Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR
• Title（参考訳）: チェッカーチェック:RLVRにおける検証器ノイズとロバストネスの合成
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するための主要なレシピとなっている。 この研究は、これらの検証エラーを測定し、分析し、軽減する58の研究を調査する。 我々は、検証者がどのようなエラーを犯すか、それがトレーニングにどう影響するか、どのエラーに対してどの軽減策が機能するか、そして結果が自己生成、ルーリック、および判断に基づく、検証不要な報酬にどのように拡張するかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a principal recipe for improving the reasoning of large language models (LLMs). It rests on the assumption that the checker scoring each response is itself correct. In practice, rule-based checkers reject correct answers in unexpected formats, unit tests accept incorrect programs, and LLM judges can be led to approve empty or adversarial responses. This work surveys 58 studies that measure, analyze, or mitigate such verifier errors. We ask what errors verifiers make, how they affect training, which mitigations work against which errors, and how the findings extend to self-generated, rubric- and judge-based, and verifier-free rewards. The evidence suggests that the structure of an error matters more than its rate. Random errors mostly slow learning, though under a fixed budget or KL regularization they also lower final accuracy. False positives that the policy can learn to trigger can cause plateaus or collapse, sometimes even with a low initial error rate. Whether a verifier wrongly rejects or accepts depends on what it checks and who built it, not on its family. Its errors shift as the policy improves, and most mitigations have been tested against only one kind of error. We compile the findings into comparison tables, reconcile apparent conflicts in the literature, and propose a reporting protocol to make future results comparable.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論を改善するための主要なレシピとなっている。 各レスポンスをスコアリングするチェッカー自体が正しいという仮定に基づいている。 実際には、ルールベースのチェッカーは予期せぬ形式の正しい答えを拒絶し、ユニットテストは不正なプログラムを受け入れる。 この研究は、これらの検証エラーを測定し、分析し、軽減する58の研究を調査する。 我々は、検証者がどのようなエラーを犯すか、それがトレーニングにどう影響するか、どのエラーに対してどの軽減策が機能するか、そして結果が自己生成、ルーリック、および判断に基づく、検証不要な報酬にどのように拡張するかを問う。 この証拠は、誤差の構造がその速度よりも重要であることを示唆している。 ランダムエラーは主に遅い学習であるが、固定予算やKL正規化の下では最終的な精度も低下する。 ポリシーが引き起こすことができるという偽陽性は、時には初期エラー率の低い場合でも、高原や崩壊を引き起こす可能性がある。 検証者が誤って拒否するか受け入れるかは、その家族ではなく、何をチェックし、誰が作ったかによって決まる。 ポリシーの改善に伴ってエラーはシフトし、ほとんどの軽減策は1種類のエラーに対してのみテストされている。 本稿では,研究成果を比較表にまとめ,文献中の明らかな矛盾を整理し,今後の結果に匹敵する報告プロトコルを提案する。

関連論文リスト

• A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning [8.500368920093605]
  オンライン自己蒸留は、検証可能なリワードRLのスパース結果信号を高密度のトークンレベルクレジットに置き換えることを約束する。 このスコアリング信号が実際に補正クレジットを含むかどうかを調査する。
  論文  参考訳（メタデータ） (2026-10-09T15:36:47Z)
• Verifier Errors in RLVR: Reward Hacking, Limits of Feedback, and Selective Control [7.90179035511465]
  不完全な検証者は 不正な反応を報い 報酬のハッキングの機会を創り出す RLVRにおける観測は,一般的には,受理誤りの検出や識別に不十分であることを示す。 我々は監査の正確性に関する追加のフィードバックを用いて修正を構築する。
  論文  参考訳（メタデータ） (2026-09-28T17:30:24Z)
• Before the Model Learns the Bug:Fuzzing RLVR Verifiers [0.5482532589225553]
  報酬による強化学習は、人間の嗜好ラベルを実行可能な報酬関数に置き換える。 この障害モードを,逆数補完を生成する軽量な検証ファジィングフレームワークを用いて検討し,バグや厳密な参照検証,ログのペア決定,偽陽性,偽陰性,不一致,エクスプロイト,不確実性などの指標を報告する。
  論文  参考訳（メタデータ） (2026-05-31T07:18:07Z)
• Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR [23.784808278172164]
  検証リワード(RLVR)を用いた強化学習における系統的検証誤差の影響について検討する。 その結果,従来の結論とは対照的に,現実的な検証誤差はRLVRの結果を批判的に形作ることができた。
  論文  参考訳（メタデータ） (2026-04-06T15:02:52Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。