Fugu-MT 論文翻訳(概要): Before the Model Learns the Bug:Fuzzing RLVR Verifiers

論文の概要: Before the Model Learns the Bug:Fuzzing RLVR Verifiers

arxiv url: http://arxiv.org/abs/2606.01066v1
Date: Sun, 31 May 2026 07:18:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:29.187576
Title: Before the Model Learns the Bug:Fuzzing RLVR Verifiers
Title（参考訳）: モデルがバグを学習する前に:Fzzing RLVR Verifiers
Abstract要約: 報酬による強化学習は、人間の嗜好ラベルを実行可能な報酬関数に置き換える。この障害モードを,逆数補完を生成する軽量な検証ファジィングフレームワークを用いて検討し,バグや厳密な参照検証,ログのペア決定,偽陽性,偽陰性,不一致,エクスプロイト,不確実性などの指標を報告する。
参考スコア（独自算出の注目度）: 0.5482532589225553
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning with verifiable rewards (RLVR) replaces human preference labels with executable reward functions such as math answer checkers, JSON tool-call validators, and code unit-test harnesses. That makes the reward partly a software artifact: if the verifier is wrong, optimization can learn the bug. We study this failure mode with a lightweight verifier-fuzzing framework that generates adversarial completions, compares buggy and stricter reference verifiers, logs paired decisions, and reports false-positive, false-negative, disagreement, exploit, and uncertainty metrics.
Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、人間の好みラベルを数学回答チェッカー、JSONツールコールバリデータ、コード単体テストハーネスなどの実行可能な報酬関数に置き換える。検証が間違っていれば、最適化はバグを学ぶことができます。この障害モードを,逆数補完を生成する軽量な検証ファジィングフレームワークを用いて検討し,バグや厳密な参照検証,ログのペア決定,偽陽性,偽陰性,不一致,エクスプロイト,不確実性などの指標を報告する。

関連論文リスト

Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations [46.90253276172931]
本稿では,人間による実演からの学習信号を用いて,検証可能な報酬を増大させる逆生成・差別化フレームワークを提案する。提案手法は,RLVRの精度向上を保ちながら,不検証特性を常に改善する。バグ修正では,RLVRベースラインに比べて編集距離が大幅に低い。
論文参考訳（メタデータ） (2026-07-01T17:13:35Z)
Improving Small Language Models for Code Generation with Reinforcement Learning from Verification Feedback [0.0]
検証可能な(RLVR)言語モデルを用いた強化学習は、単体テスト結果を用いて訓練する。 MBPPベンチマークを用いたPythonコード生成のためのRLVRの実証的研究を行った。その結果、コード生成におけるRLVRの有効性は、設計と最適化に非常に敏感であることがわかった。
論文参考訳（メタデータ） (2026-05-28T18:50:00Z)
Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards [24.040621624203823]
Reinforcement Learning from Verifiable Rewards (RLVR)は、数学やコードなどの分野における言語モデルを改善している。本稿では,分解された学習信号から強化学習を行うフレームワークであるSoft-RLVRを紹介する。自己検証は、過度に許容される自己判断からインフレーションを報いる傾向があり、この崩壊を防ぐために明確な安定化が必要であることを示す。
論文参考訳（メタデータ） (2026-05-27T14:50:53Z)
Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR [23.784808278172164]
検証リワード(RLVR)を用いた強化学習における系統的検証誤差の影響について検討する。その結果,従来の結論とは対照的に,現実的な検証誤差はRLVRの結果を批判的に形作ることができた。
論文参考訳（メタデータ） (2026-04-06T15:02:52Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。このようにして、RLVRRは報酬を2つの次元に分解する。
論文参考訳（メタデータ） (2026-01-26T14:39:58Z)
Aletheia: What Makes RLVR For Code Verifiers Tick? [51.371034079170435]
Reinforcement Learning from Verifiable Rewards (RLVR)を通じてトレーニングされた検証は、Large Language Model (LLM)ポストトレーニングパイプラインの顕著なフィクスチャである。コード検証は、実行フィードバックを得るのが難しいシナリオにおいて、モデル出力を判断する上で価値があります。本稿では,RLVRを用いた検証学習手法の構成要素を検証し,その有効性を検証した。
論文参考訳（メタデータ） (2026-01-17T22:30:45Z)
Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
論文参考訳（メタデータ） (2025-10-08T17:09:41Z)
Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文参考訳（メタデータ） (2025-10-01T13:56:44Z)
Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文参考訳（メタデータ） (2025-02-20T18:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。