論文の概要: Reinforcement Learning with Rubric Anchors

• arxiv url: http://arxiv.org/abs/2508.12790v1
• Date: Mon, 18 Aug 2025 10:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.175646
• Title: Reinforcement Learning with Rubric Anchors
• Title（参考訳）: ルーブリックアンカーを用いた強化学習
• Authors: Zenan Huang, Yihong Zhuang, Guoshan Lu, Zeyu Qin, Haokai Xu, Tianyu Zhao, Ru Peng, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Xijun Gu, Peiyi Tu, Jiaxin Liu, Wenyu Chen, Yuzhuo Fu, Zhiting Fan, Yanmei Gu, Yuanyuan Wang, Zhengkai Yang, Jianguo Li, Junbo Zhao,
• Abstract要約: RLVR(Reinforcement Learning from Verifiable Rewards)は、大規模言語モデル(LLM)の強化のための強力なパラダイムとして登場した。 我々はRLVRパラダイムを、ルーブリックベースの報酬を統合することで、オープンエンドタスクに拡張する。 私たちは、これまでで最大のルーリック報酬システムを構築しており、人間やLLM、ハイブリッドな人間とLLMのコラボレーションから1万以上のルーリックを集めています。
• 参考スコア（独自算出の注目度）: 26.9944158097067
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement Learning from Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing Large Language Models (LLMs), exemplified by the success of OpenAI's o-series. In RLVR, rewards are derived from verifiable signals-such as passing unit tests in code generation or matching correct answers in mathematical reasoning. While effective, this requirement largely confines RLVR to domains with automatically checkable outcomes. To overcome this, we extend the RLVR paradigm to open-ended tasks by integrating rubric-based rewards, where carefully designed rubrics serve as structured, model-interpretable criteria for automatic scoring of subjective outputs. We construct, to our knowledge, the largest rubric reward system to date, with over 10,000 rubrics from humans, LLMs, or a hybrid human-LLM collaboration. Implementing rubric-based RL is challenging; we tackle these issues with a clear framework and present an open-sourced Qwen-30B-A3B model with notable gains: 1) With only 5K+ samples, our system improves by +5.2% on open-ended benchmarks (especially humanities), outperforming a 671B DeepSeek-V3 model by +2.4%, while preserving general and reasoning abilities. 2) Our method provides fine-grained stylistic control, using rubrics as anchors to mitigate the "AI-like" tone and produce more human-like, expressive responses. We share key lessons in rubric construction, data selection, and training, and discuss limitations and future releases.
• Abstract（参考訳）: RLVR(Reinforcement Learning from Verifiable Rewards)は,OpenAIのoシリーズの成功を例として,LLM(Large Language Models)の拡張のための強力なパラダイムとして登場した。 RLVRでは、報酬は、コード生成における単体テストの通過や、数学的推論における正しい答えの一致など、検証可能な信号から導かれる。 有効ではあるが、この要件はRLVRを自動チェック可能な結果の領域に限定する。 この問題を解決するために、RLVRパラダイムをルーブリックベースの報酬を統合することでオープンエンドタスクに拡張し、慎重に設計されたルーブリックは、主観的出力の自動スコアリングのための構造化されたモデル解釈可能な基準として機能する。 私たちは、これまでで最大のルーリック報酬システムを構築しており、人間やLLM、ハイブリッドな人間とLLMのコラボレーションから1万以上のルーリックを集めています。 明確なフレームワークでこれらの問題に取り組み、オープンソースのQwen-30B-A3Bモデルを紹介します。 1) 5K以上のサンプルだけで、我々のシステムは、オープンエンドベンチマーク(特に人文科学)で+5.2%改善し、一般と推論能力を維持しながら、671BのDeepSeek-V3モデルより+2.4%向上した。 2) 本手法では, ルーブリックをアンカーとして使用することにより, 「AI様」のトーンを緩和し, より人間的, 表現的な応答を生じさせる。 ルーリックな構築、データ選択、トレーニングにおける重要な教訓を共有し、制限と将来のリリースについて議論します。

関連論文リスト

• Absolute Zero: Reinforced Self-play Reasoning with Zero Data [61.46462130246158]
  検証可能な報奨付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めることを約束している。 本稿では,AZR(Absolute Zero Reasoner)について紹介する。 AZRは、コーディングおよび数学的推論タスクにおける全体的なSOTA性能を達成し、既存のゼロセットモデルより優れている。
  論文  参考訳（メタデータ） (2025-05-06T09:08:00Z)
• Reinforcement Learning for Reasoning in Large Language Models with One Training Example [133.018487956408]
  1つのトレーニング例(1ショットRLVR)を用いた強化学習は,大規模言語モデル(LLM)の数学的推論能力の向上に有効であることを示す。 1ショットRLVRにおける興味深い現象として、クロスドメインの一般化、自己回帰の頻度の増大、トレーニング精度が飽和した後もテスト性能の向上が維持されていることを挙げる。
  論文  参考訳（メタデータ） (2025-04-29T09:24:30Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• UI-R1: Enhancing Efficient Action Prediction of GUI Agents by Reinforcement Learning [31.796328505473305]
  UI-R1は、ルールベースのRLがGUIアクション予測タスクのためのマルチモーダル大言語モデル(MLLM)の推論能力をどのように向上するかを探求する最初のフレームワークである。 具体的には、UI-R1が新しいルールベースのアクション報酬を導入し、グループ相対ポリシー最適化(GRPO)のようなポリシーベースのアルゴリズムによるモデル最適化を可能にする。 効率的なトレーニングのために、モバイルデバイス上で5つの一般的なアクションタイプを含む136の課題タスクからなる、小さくて高品質なデータセットをキュレートする。
  論文  参考訳（メタデータ） (2025-03-27T15:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。