論文の概要: Rubrics Beyond Evaluation: Exploiting Rubric Structure in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.25850v1
• Date: Mon, 19 Oct 2026 06:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 04:12:47.678251
• Title: Rubrics Beyond Evaluation: Exploiting Rubric Structure in Reinforcement Learning
• Title（参考訳）: 評価を超えたルーブリック:強化学習におけるルーブリック構造の爆発
• Abstract要約: ルーブリックは、全体的な品質を明確な基準に分解することで、オープンエンドの質問応答を評価するために広く使用されている。 既存の手法では、ルールの背後にある機能を明示的にモデル化することなく、主に直接フィードバック信号としてルーブリックを使用する。 本稿では,RLフレームワークであるStructured Reinforcement Learningを紹介する。
• 参考スコア（独自算出の注目度）: 21.23161641167965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubrics are widely used to evaluate open-ended question answering by breaking overall quality into explicit criteria. These explicit criteria make rubrics a rich source of learning guidance, yet their potential for guiding the training process has been largely overlooked. Existing methods use rubrics mainly as direct feedback signals, without explicitly modeling the capabilities behind their criteria. This leaves their capability structure largely unused in guiding the training process. We introduce Rubric-Structured Reinforcement Learning (RSRL), an RL framework that unlocks the full potential of rubrics by exploiting their structure throughout the training process, rather than treating them simply as direct reward signals. At its core, RSRL builds on three key designs: (1) Rubric-to-Capability Structuring first recovers the capability structure hidden in rubric criteria, (2) Self-Sufficient Capability Learning then uses this structure to bootstrap underdeveloped capabilities into effective learning, (3) Capability-Residual Credit Routing finally preserves capability-specific gains during optimization. Experiments show that RSRL consistently improves both overall performance and underdeveloped capabilities, boosting downstream scientific question-answering performance by up to 7.43 over the initial policy and 7.60 over non-rubric structured RL baselines, showing that reinforcement learning can substantially benefit from the capability structure encoded in rubrics.
• Abstract（参考訳）: 論理学は、全体的な品質を明確な基準に分解することで、オープンエンドの質問応答を評価するために広く使用されている。 これらの明確な基準は、ルーブリックを学習指導の豊富な源としていますが、トレーニングプロセスを導く可能性はほとんど見過ごされてきました。 既存の手法では、ルールの背後にある機能を明示的にモデル化することなく、主に直接フィードバック信号としてルーブリックを使用する。 これにより、トレーニングプロセスの指導にはほとんど使われていない能力構造が残される。 本稿では,RLフレームワークであるRubric-Structured Reinforcement Learning(RSRL)を紹介する。 RSRL の中核となるのは,(1) ルーブリック・トゥ・キャパビリティ・ストラクチャリングは,まずルーブリック基準に隠された機能構造を復元する,(2) 自己充足的能力学習は,この構造を用いて,未発達の能力を効果的な学習にブートストラップする,(3) キャパビリティ・レジデンシャル・クレデンシャル・ルーティングは,最適化中の機能固有のゲインを最終的に保持する,という3つの重要な設計である。 実験により、RSRLは全体的な性能と未開発能力の両方を一貫して改善し、初期方針よりも下流の科学的質問応答性能を7.43まで向上し、非ルーブリックな構造を持つRLベースラインより7.60まで向上し、強化学習はルーブリックに符号化された能力構造からかなりの恩恵を受けることが示された。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Deep Research as Rubric for Reinforcement Learning [35.642522713903794]
  オープンエンドのルーブリックを構築するための2段階のフレームワークを提案する。 DR-rubric-8Bはフロンティアモデルなしでブートストラップ生成をサポートする。 実験によると、DR-rubricは1K -- 3Kのトレーニングインスタンスで強力な競争性能を達成する。
  論文  参考訳（メタデータ） (2026-05-31T08:25:04Z)
• SEIF: Self-Evolving Reinforcement Learning for Instruction Following [53.280277743734096]
  大規模言語モデル(LLM)の指示追従能力を高める自己進化型フレームワークSEIFを提案する。 SEIFは閉じた自己進化ループを形成し、モデルの命令追従能力を改善する。 複数のモデルスケールとアーキテクチャの実験により、SEIFは命令追従性能を一貫して改善し、強い汎用性を示唆している。
  論文  参考訳（メタデータ） (2026-05-08T09:13:12Z)
• Beyond Distribution Sharpening: The Importance of Task Rewards [20.11905685439596]
  両パラダイムを実装するツールとしてRLを用いて,分布のシャープニングとタスク逆学習を比較した。 Llama-3.2-3B-インストラクト、Qwen2.5-3B-インストラクト、Qwen3-4B-インストラクト-2507を用いた数学データセットによる実験では、シャープ化が利得を制限することが確認された。
  論文  参考訳（メタデータ） (2026-04-17T17:17:55Z)
• Character-R1: Enhancing Role-Aware Reasoning in Role-Playing Agents via RLVR [67.66592867046229]
  character-R1は効果的な役割認識推論のための検証可能な報酬信号を提供するために設計されたフレームワークである。 本フレームワークは,認知的フォーカス・リワード(Cognitive Focus Reward),参照ガイド・リワード(Reference-Guided Reward),文字指定リワード正規化( character-Conditioned Reward normalization)の3つのコア設計で構成されている。
  論文  参考訳（メタデータ） (2026-01-08T05:33:37Z)
• KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:17Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• SARI: Structured Audio Reasoning via Curriculum-Guided Reinforcement Learning [21.36638095182274]
  強化学習は、大きな言語モデル(LLM)の推論能力を「答える前に考える」よう促すことによって、強化することができる。 明示的で構造化された推論とカリキュラム学習は、音声言語理解を大幅に強化することを示す。
  論文  参考訳（メタデータ） (2025-04-22T13:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。