論文の概要: Negative-Only Policy Optimization for One-Sided Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2611.17287v1
- Date: Thu, 12 Nov 2026 18:52:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.593315
- Title: Negative-Only Policy Optimization for One-Sided Verifiable Rewards
- Title(参考訳): 一つの検証可能なリワードに対する負のポリシー最適化
- Abstract要約: 検証可能な報酬を持つ強化学習は、典型的には、サンプリングされた解が正しいかどうかを確実に判断できる検証器に依存している。
検証された負は信頼できる反例であるが、検証された正は単なる非偽化候補であり、多くの偽陽性を含む可能性がある。
この非対称性は標準のRLVRを信頼できないものにしている。
検証正をラベルなしとして扱い、信頼された検証正を抑えるだけで政策を更新する負極的政策最適化(NOPO)を提案する。
- 参考スコア(独自算出の注目度): 22.85551756332605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) typically relies on a verifier that can reliably judge whether sampled solutions are correct. However, in many realistic settings, complete verification is generally unavailable, while cheap checks can only falsify failures. We formalize this regime as one-sided verifiability (OSV): verified negatives are reliable counterexamples, but verified positives are merely non-falsified candidates and may contain many false positives. This asymmetry makes standard RLVR unreliable, because reinforcing verified positives can directly reward shortcuts that pass partial checks. To address this issue, we propose Negative-Only Policy Optimization (NOPO), which treats verified positives as unlabeled and updates the policy only by suppressing trusted verified negatives. Specifically, NOPO combines a reference-relative negative suppression loss with a group-level adapter that scales each update by the proportion of non-falsified responses. Across unit-test, constraint-check, and LLM self-verifiers, NOPO improves pass@k over baselines on code, logic, and math benchmarks when oracle rewards are unavailable. These gains persist under inference-time scaling and cross-benchmark transfer.
- Abstract(参考訳): 検証可能な報酬(RLVR)による強化学習は、典型的には、サンプリングされた解が正しいかどうかを確実に判断できる検証器に依存している。
しかし、現実的な多くの設定では、完全な検証は一般的に利用できない。
検証された負は信頼できる反例であるが、検証された正は単なる非偽化候補であり、多くの偽陽性を含む可能性がある。
この非対称性は標準のRLVRを信頼できないものにしている。
この問題に対処するため,検証された肯定をラベルなしとして扱い,信頼された肯定的な否定を抑えることで政策を更新する負の政策最適化(NOPO)を提案する。
具体的には、NOPOは参照相対的な負の抑制損失とグループレベルのアダプタを組み合わせることで、各更新を非偽化応答の割合でスケールする。
単体テスト、制約チェック、LLMの自己検証を通じて、NOPOは、オラクルの報酬が利用できない場合、コード、ロジック、および数学ベンチマークのベースラインよりもpass@kを改善します。
これらの利得は、推論時間スケーリングとクロスベンチマーク転送の下で持続する。
関連論文リスト
- Grounding Multimodal Reasoning with Evidence-Ablated Negatives [51.32412577968305]
検証可能な報酬(RLVR)による強化学習は,マルチモーダル推論を改善する強力なツールとなっている。
標準結果監視は、言語前処理やデータセットのショートカットを利用して肯定的な報酬を受けることができるため、クレジット割り当ての不明瞭さに悩まされる。
これは、効果的な負の反応は、抑制すべきショートカットを露呈しながら、現在のポリシーの下では検証可能であるべきであるため、高品質な負の反応を批判する。
本稿では、EVIDence-Ablated Negativesを利用した多モーダル強化学習フレームワークEVANを提案する。
論文 参考訳(メタデータ) (2026-10-29T02:54:45Z) - Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure [23.021647176206972]
報酬モデルバイアスの単一軸緩和は、最適化圧力をそれを取り除くのではなく、相関したプロキシに回転させることができる。
この障害は、監査と政策によって引き起こされる分布の計測と最適化のギャップによって実現される。
我々は緩和の結果を制度分類に定式化し、緩和、偏見置換、過補正が同じ観測結果を生み出すことを証明した。
論文 参考訳(メタデータ) (2026-05-27T05:40:22Z) - Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target [42.681980014826536]
ジェネレーティブレコメンダ(LLM-Rec)は、デプロイ後の継続的な更新を必要とする。
デプロイメントログはポリシ形式のコンテキスト帯フィードバックのみを提供する。
連続LDM-Rec更新のためのアンコレッド帯域ポリシー最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-17T11:10:44Z) - ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する
本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
論文 参考訳(メタデータ) (2026-05-01T03:57:44Z) - Correct and Weight: A Simple Yet Effective Loss for Implicit Feedback Recommendation [36.820719132176315]
本稿では,CW損失(Corrected and Weighted, CW損失)という,新規で原則化された損失関数を提案する。
CW損失は訓練対象内の偽陰性の影響を体系的に補正する。
4つの大規模でスパースなベンチマークデータセットで実施された実験は、提案した損失の優越性を実証している。
論文 参考訳(メタデータ) (2026-01-07T15:20:27Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - RRRA: Resampling and Reranking through a Retriever Adapter [0.0]
本稿では,Bi-Encoder表現をモニタし,ハード負が実際に偽陰性である可能性を推定する学習可能なアダプタモジュールを提案する。
この確率は動的かつ文脈的にモデル化され、きめ細かいクエリ特有の判断を可能にする。
標準ベンチマークにおける実証的な結果から、我々のアダプタ強化フレームワークは、強いBi-Encoderベースラインを一貫して上回っていることが分かる。
論文 参考訳(メタデータ) (2025-08-07T08:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。