論文の概要: MatrixReward: Reward from Rubric Matrix for Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2610.00389v1
• Date: Wed, 30 Sep 2026 10:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.630902
• Title: MatrixReward: Reward from Rubric Matrix for Open-Ended Generation
• Title（参考訳）: MatrixReward: オープンエンドジェネレーションのためのルーブリックマトリックスからのリワード
• Abstract要約: 本稿では,各ルーブリック下のサンプル応答をそれぞれ比較し,ロールアウト・バイ・ルーブリック・ウィンレート行列から報酬を構成するためのMatrixRewardを提案する。 カラムの正規化と重み付けの後、観測された最大値と最小値は正および負の理想プロファイルを定義する。 MatrixRewardの平均スコアは63.02で、最強のベースラインを約2.0%上回っている。
• 参考スコア（独自算出の注目度）: 11.257824331556604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-ended query generation lacks standard answers, thus necessitating an effective reward mechanism. Pointwise scoring rubrics provide limited information about the relative quality of sample answers under the same prompt; merging multiple rubric judgments into a single score may also mask the differences between these answers. We propose MatrixReward, which constructs rewards from a rollout-by-rubric win-rate matrix obtained by comparing every pair of sampled responses under each rubric. The spread of each matrix column captures how strongly that rubric distinguishes the current rollouts, while correlations between columns reveal rubric repetition; together, these statistics yield data-dependent rubric weights. We combine these weights with the prior weights of rubrics. After column normalization and weighting, the observed per-rubric maxima and minima define positive and negative ideal profiles. Each rollout's distances to these two ideals determine its relative-closeness quality reward. Evaluated using Qwen3-8B on four open-ended query-answering benchmarks, MatrixReward achieves an average score of 63.02, outperforming the strongest baseline by approximately 2.0%. These results support the idea that matrices derived from relative comparisons can be used to construct rewards more reasonably for open-ended generative reinforcement learning.
• Abstract（参考訳）: オープンエンドクエリ生成には標準回答がないため、効果的な報酬メカニズムが必要である。 ポイントワイズ・スコアリング・ルーリックは、同じプロンプトの下でサンプル回答の相対的な品質について限られた情報を提供する。 本稿では,各ルーブリック下のサンプル応答をそれぞれ比較して得られる,ロールアウト・バイ・ルーブリック・ウィンレート行列から報酬を構成するMatrixRewardを提案する。 各行列列の拡散は、ルーブリックが現在のロールアウトをいかに区別するかを強く捉え、一方、列間の相関関係はルーブリック反復を示し、これらの統計はデータ依存ルーブリック重みを生成する。 これらの重みとそれ以前のルーブリックの重みを組み合わせる。 カラムの正規化と重み付けの後、観測された最大値と最小値は正および負の理想プロファイルを定義する。 各ロールアウトの2つのイデアルへの距離は、その相対的クローズネスの品質報酬を決定する。 Qwen3-8Bを4つのオープンエンドクエリ回答ベンチマークで評価し、MatrixRewardは平均スコア63.02を獲得し、最強のベースラインを約2.0%上回った。 これらの結果は、相対比較から導かれた行列を用いて、より合理的に報酬を構築することができるという考えを支持する。

関連論文リスト

• RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking [13.774317167730553]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 本稿では,ルーリックベースRLVRのランキングパラダイムであるRLVR$2$を提案する。 各基準に対して、RLVR$2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。
  論文  参考訳（メタデータ） (2026-09-20T08:34:28Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• RankFeat&RankWeight: Rank-1 Feature/Weight Removal for Out-of-distribution Detection [66.27699658243391]
  textttRankFeatは、OOD検出のためのシンプルだが効果的なEmphposthocアプローチである。 textttRankWeight は emphpost hoc で、 rank-1 行列を一度だけ計算する必要がある。 textttRankFeatは、最先端のパフォーマンスを実現し、平均偽陽性率(FPR95)を17.90%削減する。
  論文  参考訳（メタデータ） (2023-11-23T12:17:45Z)
• Fair Column Subset Selection [6.004035936737586]
  行列列を2つの群に分割した設定を考え,その目的は2つの群の最大誤差再構成を最小限に抑える列の部分集合を選択することである。 特定のシナリオでは、各グループごとに列を別々に選ぶことは避けられないため、期待される列数を2倍にする。 フェアセッティングのための決定論的レバレッジスコアサンプリング戦略を提案し、2つのグループが存在する場合、最小サイズのカラムサブセットのサンプリングがNPハードとなることを示す。
  論文  参考訳（メタデータ） (2023-06-07T15:00:38Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Adversarial Robust Low Rank Matrix Estimation: Compressed Sensing and Matrix Completion [2.0257616108612373]
  部分的な問題としてラッソを含む行列圧縮センシングと行列補完を扱う。 本稿では,ハマー損失関数と核ノルムのペナル化を組み合わせた単純な統一手法を提案する。
  論文  参考訳（メタデータ） (2020-10-25T02:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。