論文の概要: QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2606.03968v1
• Date: Tue, 02 Jun 2026 17:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.234995
• Title: QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards
• Title（参考訳）: QUBRIC:RLのキューとルーブリックを共同設計、検証可能なリワードを超えて
• Authors: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang,
• Abstract要約: クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
• 参考スコア（独自算出の注目度）: 68.15832368034815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based RL is a promising route for extending reinforcement learning beyond verifiable rewards, yet existing methods optimize rubrics while treating the query distribution as fixed. We identify a structural bottleneck: rubric quality is constrained by query structure. Open-ended queries yield vague rubrics; naively narrowing them introduces fabricated references that no model can verify, so all responses fail and training receives no reward signal. We present QUBRIC, a framework that co-designs queries and rubrics. Teacher-derived key points ground the rewriting of open-ended queries into scenario-based, evaluable questions. Contrastive rubric generation then turns teacher-policy gaps into query-level criteria, and learnability filtering retains only informative query-rubric pairs for GRPO training. QUBRIC achieves a +5.5 point gain on ArenaHard over the SFT baseline. Trained only on instruction-following data, it further transfers to three held-out benchmarks spanning legal, moral, and narrative reasoning (+6.3 points on average), with improvements concentrated in reasoning-related dimensions. These results provide evidence that co-designing queries and rubrics can make rubric-based RL a practical complement to RLVR beyond strictly verifiable tasks.
• Abstract（参考訳）: RubricベースのRLは、検証可能な報酬を超えて強化学習を拡張するための有望なルートである。 構造的ボトルネックを識別する: ルーブリックの品質はクエリ構造によって制約される。 オープンエンドクエリはあいまいなルーブリックを発生させるが、それを内在的に絞り込むと、モデルが検証できないような偽造参照が導入され、すべての応答がフェールし、トレーニングは報酬信号を受け取らない。 クエリとルーリックを共同設計するフレームワークであるQUBRICを紹介する。 教師由来のキーポイントは、オープンエンドのクエリをシナリオベースで評価可能な質問に書き換える。 対照的に、ルーブリック生成は教師と教師のギャップをクエリレベルの基準に変え、学習可能性フィルタリングはGRPOトレーニングのための情報的クエリとルーブリックのペアのみを保持する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。 指示追従データのみに基づいて訓練され、法的、道徳的、物語的推論(平均で6.3ポイント)にまたがる3つの保留ベンチマークにさらに移行し、推論に関連する次元に集中する。 これらの結果は、クエリとルーブリックを共設計することで、ルーブリックベースのRLが、厳密に検証可能なタスクを超えてRLVRの実用的な補完となることを示す。

関連論文リスト

• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning [71.25239709712193]
  本稿では,ルーリックベースのRLデータを大規模に自動構築するフレームワークであるARESを提案する。 ドメインラベルとペルソナ情報に基づいてARES条件を生成し、質問自己完結、回答忠実、妥当性の検証フィルタを適用する。 7つのベンチマークでの実験では、ARESでトレーニングされたルーブリックベースのトレーニングは、継続事前トレーニング、教師付き微調整、バイナリリワードRLよりも優れており、ヘルスケアやインストラクションフォローのような多次元のオープンエンドタスクで最大の利益を得ている。
  論文  参考訳（メタデータ） (2026-05-22T10:09:28Z)
• MDER-DR: Multi-Hop Question Answering with Entity-Centric Summaries [2.756584457554517]
  Map-Disambiguate-Enrich-Reduce (MDER)はコンテキスト由来の3重記述を生成し、エンティティレベルの要約と統合する。 Decompose-Resolve (DR)は、ユーザクエリを解決可能なトリプルに分解し、知識グラフに格納する。 MDERとDRはLLM駆動のQAパイプラインを形成し、スパース、不完全、複雑なリレーショナルデータに対して堅牢である。
  論文  参考訳（メタデータ） (2026-03-11T18:38:44Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Decomposed Reasoning with Reinforcement Learning for Relevance Assessment in UGC Platforms [30.51899823655511]
  Retrieval-augmented Generation (RAG)は、ユーザ生成コンテンツプラットフォームにおいて重要な役割を果たす。 1)RAGシナリオにおけるユーザフィードバックの少なさによる曖昧なユーザ意図,2)非公式言語や非構造化言語によって導入された相当なノイズ。
  論文  参考訳（メタデータ） (2025-08-04T15:14:09Z)
• Checklists Are Better Than Reward Models For Aligning Language Models [99.1896531064102]
  チェックリストフィードバックからの強化学習(RLCF)を提案する。 指示からチェックリストを抽出し,各項目の応答がどの程度満足するかを評価する。 これらのスコアをAI判断器と特殊検証器プログラムの両方を用いて組み合わせ、RLの報酬を計算する。
  論文  参考訳（メタデータ） (2025-07-24T17:58:00Z)
• W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
  W-RAGは、下流タスクから弱いトレーニング信号を抽出し、検索者がタスクに最も利益をもたらすパスを優先順位付けするように微調整する手法である。 我々は4つの公開可能なOpenQAデータセットの包括的な実験を行い、我々のアプローチが検索とOpenQAのパフォーマンスを向上させることを実証した。
  論文  参考訳（メタデータ） (2024-08-15T22:34:44Z)
• Reinforcement Replaces Supervision: Query focused Summarization using Deep Reinforcement Learning [43.123290672073814]
  クエリに基づいて文書から要約を生成するシステムを扱う。 Reinforcement Learning (RL) が自然言語生成のための Supervised Learning (SL) の一般化を提供するという知見に触発されて,本課題に RL ベースのアプローチを用いる。 我々は、ROUGE、BLEU、Semantic similarityといった様々な報酬信号に基づいて訓練された複数のポリシーグラディエントネットワークを開発する。
  論文  参考訳（メタデータ） (2023-11-29T10:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。