論文の概要: Rubric Rewards from Item Response Theory

• arxiv url: http://arxiv.org/abs/2609.35646v1
• Date: Mon, 28 Sep 2026 17:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:02:38.82872
• Title: Rubric Rewards from Item Response Theory
• Title（参考訳）: 項目応答理論からのルーブリック・リワード
• Abstract要約: 応答理論は、基準基準が共有対象の単調な指標である場合に品質を測定し、基準を選択する。 このモデルでは、その確率スコアは品質の局所的な信号対雑音比を最大化する。 トレーニング中にポリシーの配布が変わると、RTは現在のロールアウトからRPNを更新するためにオンライン期待を使っています。
• 参考スコア（独自算出の注目度）: 14.174454158860257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many language tasks have no single answer that can be checked automatically. Rubrics provide criteria for judging responses to these tasks. For reinforcement learning, the resulting verdicts must be combined into a scalar reward. A common approach sums the points assigned to satisfied criteria. Distinct verdict patterns can thus receive the same reward, and the fixed points encode how much each criterion should count, not how strongly its verdict distinguishes the current rollouts. Beyond this aggregation problem, judging the full rubric needs more judge requests as the criterion count grows. To address these limitations, Rubric Response Theory (RRT) measures quality and selects criteria when rubric criteria are monotone indicators of a shared target. Rather than adding assigned points, RRT uses a two parameter item response model that treats the verdict pattern as evidence about scalar quality specific to the rubric. Under this model, its likelihood score maximizes the local signal-to-noise ratio for quality. Its Response Parameter Network (RPN) reads the prompt and criterion text to predict criterion difficulty and discrimination. As the policy distribution changes during training, RRT uses online expectation maximization to update the RPN from current rollout verdicts. With Qwen3.5-4B as the policy, RRT's macro criterion score across Medical, Science, Rubrics as Rewards Science, and RubricBench is 1.7 points above that of group relative policy optimization (GRPO). On hard and very hard criteria in Medical and Science, RRT gains 2.8 to 5.6 points over GRPO. At half the criterion budget, adaptive Fisher selection with a frozen RPN keeps the macro criterion score across four datasets within 0.1 points of GRPO with full judging. These results show RRT can reduce judge requests while remaining competitive with GRPO.
• Abstract（参考訳）: 多くの言語タスクは、自動的にチェックできる単一の答えを持っていません。 ルーブリックはこれらのタスクに対する反応を判断するための基準を提供する。 強化学習には、結果の判断をスカラー報酬に組み合わせなければならない。 共通のアプローチは、満足度基準に割り当てられたポイントを和らげる。 したがって、特定の判定パターンは、同じ報酬を受け取ることができ、固定ポイントは、その判定が現在のロールアウトをどれだけ強く区別するかではなく、それぞれの基準がどれだけ数えるべきかをエンコードする。 このアグリゲーション問題を超えて、全ルーリックを判断するには、基準数が増加するにつれて、より多くの判断要求が必要である。 これらの制限に対処するため、RRT(Rubric Response Theory)は品質を測定し、ルーブリック基準が共有対象のモノトーン指標である場合の基準を選択する。 割り当てられたポイントを追加する代わりに、RTRは2つのパラメータ応答モデルを使用して、検証パターンをルーブリック特有のスカラー品質の証拠として扱う。 このモデルでは、その確率スコアは品質の局所的な信号対雑音比を最大化する。 その応答パラメータネットワーク(RPN)は、アクセプションとクレーターのテキストを読み、クレーターの難易度と識別を予測する。 トレーニング中にポリシー分布が変化するにつれて、RTRはオンライン期待の最大化を使用して、現在のロールアウト評価からRPNを更新する。 Qwen3.5-4B をポリシーとして、RRT のマクロ基準スコアは、医学、科学、ルーブリック・アズ・リワードズ・サイエンス、ルーブリック・ベンチをグループ相対政策最適化(GRPO)の1.7ポイント上回っている。 医学と科学の厳しい基準において、RTRはGRPOよりも2.8から5.6ポイント向上している。 半分の基準で、凍結したRPNによる適応的なフィッシャー選択は、GRPOの0.1ポイント以内の4つのデータセットにマクロ基準スコアを保持する。 これらの結果から, GRPOとの競合を維持しながら, RRTは判断要求を低減できることが示された。

関連論文リスト

• RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking [13.774317167730553]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 本稿では,ルーリックベースRLVRのランキングパラダイムであるRLVR$2$を提案する。 各基準に対して、RLVR$2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。
  論文  参考訳（メタデータ） (2026-09-20T08:34:28Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Rank-Deviation Quality: A Distance-Aware Metric for Multi-Answer Retrieval and Ranking Evaluation [51.55909067323666]
  Rank-Deviation Quality (RDQ) は、検索およびランキングシステムの評価指標である。 検索された基準項目はそれぞれ、ランクずれペナルティによって乗算された出力位置重みに寄与する。 RDQは順序付きランキングで動作し、アノテータはペアワイドまたはリストワイドの判断によって生成することができる。
  論文  参考訳（メタデータ） (2026-08-26T03:00:18Z)
• CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization [21.755134237801443]
  CoRTは、ルーリック条件のGRPOのトークンレベルクレジット重み付け手法である。 比較の結果,CoRTは一致した応答レベルGRPOよりも改善していることがわかった。
  論文  参考訳（メタデータ） (2026-07-28T12:45:19Z)
• Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
  政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。 反応条件付き評価器であるDynamicRubricを提案する。 8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
  論文  参考訳（メタデータ） (2026-07-22T12:35:40Z)
• Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR [15.763726386280723]
  POW3Rは、人重とカテゴリーバランスを目的とする政策対応報酬フレームワークである。 POW3Rはロールアウトレベルのコントラストを使用して、現在ポリシーの出力を分離している基準を強調する。
  論文  参考訳（メタデータ） (2026-05-19T17:50:18Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks [17.117706938140078]
  本稿では,分解フィルタサイクル上に構築された潤滑精製の原理的フレームワークRDを提案する。 RRDは粗いルブリックをきめ細かな識別基準に分解し、カバー範囲を広げ、応答間の分離を鋭くする。 評価とトレーニングの両方で、大きく、一貫した利益をもたらします。
  論文  参考訳（メタデータ） (2026-02-04T23:16:09Z)
• Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning [90.2947802490534]
  刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
  論文  参考訳（メタデータ） (2020-04-24T09:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。