論文の概要: Verifier Errors in RLVR: Reward Hacking, Limits of Feedback, and Selective Control

• arxiv url: http://arxiv.org/abs/2609.35677v1
• Date: Mon, 28 Sep 2026 17:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:46:23.059846
• Title: Verifier Errors in RLVR: Reward Hacking, Limits of Feedback, and Selective Control
• Title（参考訳）: RLVRにおける検証エラー: 逆ハック、フィードバックの制限、選択制御
• Abstract要約: 不完全な検証者は 不正な反応を報い 報酬のハッキングの機会を創り出す RLVRにおける観測は,一般的には,受理誤りの検出や識別に不十分であることを示す。 我々は監査の正確性に関する追加のフィードバックを用いて修正を構築する。
• 参考スコア（独自算出の注目度）: 7.90179035511465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning with verifiable rewards (RLVR), imperfect verifiers can reward incorrect responses, creating opportunities for reward hacking. Using gradient flow with a fixed verifier, we characterize the conditions under which reward rises while correctness falls. We then show that the observations available during RLVR are, in general, insufficient to detect or identify accepted errors, or to guarantee their reduction without sacrificing correct responses. To address this limit, we construct a correction using additional feedback about correctness from audits. This correction achieves \emph{selective control}: at the current policy, it lowers the probability of accepted errors and raises that of correct responses, provided it outweighs the pressure toward errors from verifier reward. Experiments with log linear and neural contextual bandits and with a language model support the analysis and show that selective control under partial auditing reduces accepted errors while increasing correctness.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習では、不完全な検証者は誤った応答を報い、報酬のハッキングの機会を生み出すことができる。 固定検証器を用いた勾配流を用いて,正しさが低下しながら報酬が上昇する条件を特徴付ける。 次に、RLVRで利用可能な観測結果が、一般的には、受け入れられた誤りを検出したり、特定したり、正しい応答を犠牲にすることなく、それらの減少を保証するのに不十分であることを示す。 この限界に対処するため、監査からの正確性に関する追加のフィードバックを用いて修正を構築する。 この補正は 'emph{selective control} を達成する: 現在のポリシーでは、検証者報酬からエラーに対する圧力を上回り、受け入れられたエラーの確率を下げ、正しい応答の確率を上げる。 ログ線形およびニューラルコンテキストの帯域と言語モデルによる実験は、分析をサポートし、部分監査による選択的な制御が、正しさを高めながら受け入れられたエラーを減少させることを示す。

関連論文リスト

• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Before the Model Learns the Bug:Fuzzing RLVR Verifiers [0.5482532589225553]
  報酬による強化学習は、人間の嗜好ラベルを実行可能な報酬関数に置き換える。 この障害モードを,逆数補完を生成する軽量な検証ファジィングフレームワークを用いて検討し,バグや厳密な参照検証,ログのペア決定,偽陽性,偽陰性,不一致,エクスプロイト,不確実性などの指標を報告する。
  論文  参考訳（メタデータ） (2026-05-31T07:18:07Z)
• Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards [24.040621624203823]
  Reinforcement Learning from Verifiable Rewards (RLVR)は、数学やコードなどの分野における言語モデルを改善している。 本稿では,分解された学習信号から強化学習を行うフレームワークであるSoft-RLVRを紹介する。 自己検証は、過度に許容される自己判断からインフレーションを報いる傾向があり、この崩壊を防ぐために明確な安定化が必要であることを示す。
  論文  参考訳（メタデータ） (2026-05-27T14:50:53Z)
• The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering [67.8271652641864]
  我々は,隠蔽状態の介入によって検証の厳密性を制御できるかどうかを検討した。 VerifySteerは、サンプルレベルのルーティングに潜時補正信号を使用し、段落境界に選択的に介入する。
  論文  参考訳（メタデータ） (2026-05-20T05:48:16Z)
• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR [23.784808278172164]
  検証リワード(RLVR)を用いた強化学習における系統的検証誤差の影響について検討する。 その結果,従来の結論とは対照的に,現実的な検証誤差はRLVRの結果を批判的に形作ることができた。
  論文  参考訳（メタデータ） (2026-04-06T15:02:52Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。