論文の概要: Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
- arxiv url: http://arxiv.org/abs/2608.11669v1
- Date: Wed, 12 Aug 2026 05:29:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.472714
- Title: Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
- Title（参考訳）: Rubric Dropout: Rubric-as-Reward RLでのRewardハックを緩和する簡単な方法
- Abstract要約: トレーニング中に2つのスコアが分岐していることが分かりました。
一定のバイアスを持つ審査員は、トレーニングスコアが上昇している間に、金の曲線を一定にシフトさせる。
我々は、ニューロンのドロップアウトから借りた1行の修正であるDropoutを提案する。
- 参考スコア（独自算出の注目度）: 11.857468467125505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning against rubrics, lists of criteria graded by an LLM judge, has become a standard way to post-train language models on tasks with no deterministic answer. The rubric, however, is a fixed proxy for quality, never a complete description of it, and a policy trained against it long enough will learn to exploit the difference. We measure this directly. Training Qwen3-8B with Group Relative Policy Optimization (GRPO) on medical and science rubrics and grading out-of-distribution (OOD) benchmarks with both the training judge and a stronger gold judge, we find that the two scores diverge during training. The training judge's score keeps climbing while the gold judge's score peaks and then falls, by 3 points on HealthBench-Hard and by 22 points on ResearchQA. A judge with a fixed bias would shift the gold curve by a constant, not send it down while the training score rises, so the divergence is reward hacking, not judge noise. We propose Rubric Dropout, a one-line fix borrowed from neuron dropout. At every step, we randomly drop a subset of the rubric's criteria before computing the reward, so the policy never optimizes the same rubric twice. The dropped subset is shared across each rollout group, so GRPO's group-relative advantages stay comparable, and evaluation always uses the full rubric. Comparing no dropout against dropout at 30% and 50% on both benchmark pairs, dropout raises the OOD gold score at every matched checkpoint (+1 to +2 points on HealthBench-Hard, +6 to +7 points on ResearchQA), lowers the two hacking measures we track, and costs nothing in domain. Sweeping the dropout fraction shows a broad 30-50% sweet spot, while the natural alternative, reweighting criteria by how useful they are to training, performs worse than no intervention at all in our setting.
- Abstract（参考訳）: LLM審査員が格付けした基準リストであるルーブリックに対する強化学習は、決定論的答えのないタスクにおける訓練後の言語モデルに対する標準的な方法となっている。
しかし、ルーブリックは品質の固定されたプロキシであり、その完全な説明は決してない。
私たちはこれを直接測定します。
Qwen3-8BとGRPO(Group Relative Policy Optimization)を併用したトレーニングQwen3-8Bでは,トレーニング中に2つのスコアが分岐していることが判明した。
トレーニングジャッジのスコアは上昇し続け、ゴールドジャッジのスコアはピークに達し、HealthBench-Hardでは3ポイント、ResearchQAでは22ポイント低下する。
一定のバイアスを持つ裁判官は、トレーニングスコアが上昇している間にゴールドカーブを一定シフトさせず、ノイズを判断するのではなく、報奨ハッキングである。
本稿では、ニューロンのドロップアウトから借りた1行の修正であるRubric Dropoutを提案する。
各ステップにおいて、報酬を計算する前にルーリックの基準のサブセットをランダムにドロップするので、ポリシーは同じルーリックを2度も最適化しない。
削除されたサブセットは各ロールアウトグループ間で共有されるため、GRPOのグループ相対的なアドバンテージは同等であり、評価は常にフルルーリックを使用する。
両方のベンチマークペアで30%と50%のドロップアウトに対して、ドロップアウトは一致したチェックポイント毎にOODゴールドスコアを上昇させる(HealthBench-Hardでは+1から2ポイント、ResearchQAでは+6から+7ポイント)。
ドロップアウト率のスイーピングは、30～50%のスイートスポットを示していますが、自然な代替手段として、トレーニングにどれほど有用かという基準の再重み付けは、私たちの設定では介入を全く行いません。
関連論文リスト
- RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。
投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
論文 参考訳（メタデータ） (2026-08-10T09:06:03Z) - Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short [51.667769734342635]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。
本研究では,非多変量報酬群を判定システムにルーティングする適応学習フレームワークであるReasoning Arenaを提案する。
我々は、Reasoning Arenaが、競争数学やコーディングベンチマークにおいて、RLVRベースラインを平均で7.6%上回っていることを示す。
論文 参考訳（メタデータ） (2026-06-08T11:57:17Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming [0.0]
近似ポリシ最適化(PPO)を用いたコンパクトRLHFパイプラインの失敗モードに関する実証的研究について述べる。
我々は、学習した報酬の方向、判定スコア、および平均判定スコアを用いて、チェックポイント間の一致した遷移を分類する。
ROC-AUC 0.821による将来の行レベルの報酬ハッキングを予測し、行レベルの分析では、チェックポイント平均が12の3つの設定で見逃すような局所的な報酬ハックが見つかる。
論文 参考訳（メタデータ） (2026-06-02T06:55:52Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳（メタデータ） (2026-05-24T05:24:09Z) - Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR [15.763726386280723]
POW3Rは、人重とカテゴリーバランスを目的とする政策対応報酬フレームワークである。
POW3Rはロールアウトレベルのコントラストを使用して、現在ポリシーの出力を分離している基準を強調する。
論文 参考訳（メタデータ） (2026-05-19T17:50:18Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision [26.922922043969958]
我々は、コンピュータ・アズ・教師(CaT)による調査を監督に転換することを提案する。
CaTは平行ロールアウトのグループから単一の参照を合成し、それに向けて最適化する。
テストタイムの手順として、CaTはGemma 3 4B、Qwen 3 4B、Llama 3.1 8Bを改善している。
論文 参考訳（メタデータ） (2025-09-17T17:59:42Z) - Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。
ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。
本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
論文 参考訳（メタデータ） (2025-07-23T17:57:55Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。