論文の概要: Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics

• arxiv url: http://arxiv.org/abs/2609.38847v1
• Date: Wed, 30 Sep 2026 03:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.064052
• Title: Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
• Title（参考訳）: Scoring High, Answering Worse:Protocol-Level RubricsによるRLのリワードハックの軽減
• Abstract要約: 総じて、基準が互いに補うことを示す。 グループ化され、同じ基準で単語に従わないようにまとめられ、損失の3分の1を回復する。 本稿では,プロトコルレベル(Protocol-levels,ProRubric)を提案する。
• 参考スコア（独自算出の注目度）: 17.793832024748777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based reinforcement learning (Rubric-RL) trains language models where no verifier exists. A judge checks each criterion of a rubric, and the verdicts are aggregated into a reward, most often by a weighted sum. We show that this additive aggregation is the weak point. Under a sum, criteria compensate for one another: a policy that misses the one decision that matters can buy the points back with advice nobody asked for. On clinical consultation, such a policy scores higher and answers worse. Rubric coverage rises while appropriateness on held-out physician criteria falls below the untrained model. The medical criteria are not to blame. Grouped so that they must hold together, the same criteria, unchanged to the word, recover a third of the loss; shorter answers recover almost none. We therefore propose Protocol-level Rubrics (ProRubric), which keeps what the criteria ask for and changes how they are aggregated. It groups a checklist into a few protocol-level dimensions. A dimension counts only when all of its criteria hold and its failure clause does not fire. The grouping is done once, offline, and leaves the optimizer unchanged. ProRubric raises appropriateness by 10.8 points without losing coverage and has the best seven-benchmark average at both scales. Reward validity is set not only by what a rubric verifies, but by how it aggregates. Code is available at https://github.com/Estrellajer/ProRubric
• Abstract（参考訳）: ルーブリックベース強化学習(Rubric-RL)は、検証者が存在しない言語モデルを訓練する。 裁判官はルーブリックのそれぞれの基準をチェックし、評定は報酬に集約され、たいていは重み付けの和によって行われる。 この加法的集合が弱い点であることを示す。 一つの決定を見逃すポリシーは、誰も頼まなかったアドバイスでポイントを取り戻せる。 臨床相談では、そのような方針は高く評価され、答えは悪化する。 保持された医師の基準に対する適切性は、訓練されていないモデルより下降する。 医療基準は悪いものではない。 同じ基準でまとめなければならないようにグループ化され、単語に変化せず、損失の3分の1を回復する。 そこで我々は,プロトコルレベル・ルーブリック (Protocol-level Rubrics, ProRubric) を提案する。 チェックリストをいくつかのプロトコルレベルに分類する。 ディメンションは、すべての基準が保持され、その障害条項が発火しない場合にのみカウントされる。 グループ化は一度、オフラインで行われ、オプティマイザは変更されない。 ProRubricはカバー範囲を減らさずに10.8ポイントの適性を高め、両方のスケールで最高の7ベンチマーク平均を持つ。 逆の妥当性は、ルーブリックが検証したものだけでなく、どのように集約するかによって設定される。 コードはhttps://github.com/Estrellajer/ProRubricで入手できる。

関連論文リスト

• Rubric Rewards from Item Response Theory [14.174454158860257]
  応答理論は、基準基準が共有対象の単調な指標である場合に品質を測定し、基準を選択する。 このモデルでは、その確率スコアは品質の局所的な信号対雑音比を最大化する。 トレーニング中にポリシーの配布が変わると、RTは現在のロールアウトからRPNを更新するためにオンライン期待を使っています。
  論文  参考訳（メタデータ） (2026-09-28T17:15:37Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1 [0.0]
  マルチラウンド検索強化世代(RAG)は、証拠が蓄積されるにつれていつ検索を止めるかを決定する必要がある。 我々は,S2G-RAGの構造的充足性判定をフリーズしたサーチ-R1パイプラインに適用する。 我々は900のHotpotQA質問から3,009の州でQwen3.5-2B判事を訓練する。
  論文  参考訳（メタデータ） (2026-08-13T13:42:48Z)
• Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL [11.857468467125505]
  トレーニング中に2つのスコアが分岐していることが分かりました。 一定のバイアスを持つ審査員は、トレーニングスコアが上昇している間に、金の曲線を一定にシフトさせる。 我々は、ニューロンのドロップアウトから借りた1行の修正であるDropoutを提案する。
  論文  参考訳（メタデータ） (2026-08-12T05:29:21Z)
• ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering [33.27644708906731]
  検証可能な報酬を伴う強化学習は数学やコーディングにおいて特に効果的である。 ConRub-Medを導入し,建設から政策最適化へのルーブリックフィードバックの移動に伴い,有用性を維持する。 ConRub-Medは9つのベンチマークのうち6つにランクインしている。
  論文  参考訳（メタデータ） (2026-08-11T14:48:15Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR [15.763726386280723]
  POW3Rは、人重とカテゴリーバランスを目的とする政策対応報酬フレームワークである。 POW3Rはロールアウトレベルのコントラストを使用して、現在ポリシーの出力を分離している基準を強調する。
  論文  参考訳（メタデータ） (2026-05-19T17:50:18Z)
• Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
  本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。 その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
  論文  参考訳（メタデータ） (2024-11-11T18:58:38Z)
• KPQA: A Metric for Generative Question Answering Using Keyphrase Weights [64.54593491919248]
  KPQA-metricは生成的質問応答システムの正当性を評価するための新しい指標である。 我々の新しい計量は、キーフレーズ予測を通じて各トークンに異なる重みを割り当てる。 提案手法は,既存の指標よりも人的判断との相関が有意に高いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T03:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。