論文の概要: Rubrics as Privileged Information for Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2608.02948v1
• Date: Mon, 03 Aug 2026 23:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.961054
• Title: Rubrics as Privileged Information for Open-Ended Generation
• Title（参考訳）: オープンエンディングジェネレーションのためのプリビリード情報としてのルーブリック
• Abstract要約: オンライン自己蒸留(OPSD)は数学のような検証可能な領域において有望であることを示している。 OPSDをソフトPIを用いたオープンエンド生成に拡張し、好みを誘導するが、多くの有効な応答を許容するルーリックの形で表現する。 ソフトPIは, 学生のロールアウトにおいて, ハードレファレンス・コンプリートPIよりも, より大きく, より効果的なトレーニング信号を提供することを示す。
• 参考スコア（独自算出の注目度）: 1.840946383877556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD), where a single model acts as both student and teacher with different contexts, has shown promise in verifiable domains like math, where hard privileged information (PI) in the form of ground-truth answers structurally constrains valid continuations. We extend OPSD to open-ended generation using soft PI in the form of rubrics that guide preferences but admit many valid responses. Rubrics have served as scalar rewards for reinforcement learning (RL); we show that they provide substantially richer signal as dense PI for distillation, and contrary to intuition, soft rubric PI provides a larger and more effective training signal on student roll-outs than hard reference completion PI in this regime. A reference completion is one point in a set of valid responses, so distilling towards it over-constrains the student, while rubrics specify the preference structure shared across the set of valid responses. We show the effectiveness of using rubrics as PI for open-ended generation across Qwen and Llama model families and show that it outperforms rubric-as-reward (RaR) RL using HealthBench, a benchmark that grades open-ended health responses against physician-created rubrics, providing dense token-level supervision for open-ended tasks; RuPI beats RaR RL by up to +0.10 absolute score and, under matched recipe and KL direction, beats reference-PI by +0.034 to +0.079 absolute score across three models. We further show that these findings generalize to training on the RubricHub Science corpus and evaluating on ResearchQA: soft rubric PI outperforms both reference-PI distillation and RaR RL (66.6% vs. 64.2% and 57.6%).
• Abstract（参考訳）: オンライン自己蒸留(OPSD)では、一つのモデルが異なる文脈で生徒と教師の両方として機能するが、数学のような検証可能な領域では、厳密な特権情報(PI)が構造的に決定的な継続を制限している。 OPSDをソフトPIを用いたオープンエンド生成に拡張し、好みを誘導するが、多くの有効な応答を許容するルーリックの形で表現する。 本研究は, 強化学習のためのスカラー報酬として, 蒸留用高密度PIとして実質的にリッチな信号を提供しており, 直観とは対照的に, ソフトルーリックPIは, ハードリファレンス完備PIよりも学生ロールアウトにおいて, より大きく効果的な訓練信号を提供することを示した。 参照完了は有効な応答のセットの1つのポイントであり、それに対する蒸留は生徒を過剰に拘束し、ルーブリックは有効な応答のセット間で共有される選好構造を規定する。 本稿では,Qwen と Llama モデルファミリ間のオープンエンド生成においてルーリックをPIとして使用することの有効性を示し,HealthBench を用いた Ruric-as-reward (RaR) RL よりも優れており,これは医師が作成したルーリックに対してオープンエンドヘルス応答を評価し,オープンエンドタスクに対してトークンレベルを集中的に監視するベンチマークであり,RuPI は最大+0.10絶対スコアで RaR RL を破り,マッチしたレシピとKL の方向の下では,基準PI を+0.034 から +0.079 絶対スコアで上回っている。 さらに,これらの知見は,RubricHub Science corpus のトレーニングに一般化し,ResearchQA を評価した結果,参照-PI 蒸留と RaR RL (66.6% vs. 64.2% および 57.6%) の両方に優れることがわかった。

関連論文リスト

• V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
  視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-26T09:40:46Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Knowledge- and Gradient-Guided Reinforcement Learning for Parametrized Action Markov Decision Processes [0.6308539010172308]
  パラメタライズドアクションマルコフ決定過程(PAMDP)における強化学習について検討した。 このような設定では、強化学習アルゴリズムは典型的に一発推定器でパラメータを決定するため、トレーニングサンプルは非効率である。 我々はこのギャップに踏み込み、新しいニューロシンボリック知識とグラディエントガイド強化学習(KGRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-07-14T15:57:25Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers [25.040339775169883]
  本研究では,無条件学生の教師として,ルーリックに条件付けされた基本方針が機能する検証不要な学習方法を提案する。 Qwen-2.5 (3B, 7B) と Qwen3-Thinking (4B, 8B) の医療分野におけるモデル全体で、RGSD は審査ベースの RuricO に匹敵する満足度を達成している。
  論文  参考訳（メタデータ） (2026-06-10T17:53:19Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Empowering Large Language Models to Set up a Knowledge Retrieval Indexer via Self-Learning [17.83428132220955]
  Pseudo-Graph Retrieval-Augmented Generation (PG-RAG) という事前検索フレームワークを提案する。 PG-RAGは、LLMを学生として、豊富な原材料を提供することで概念化している。 PG-RAGは、検索フェーズの間、ノートをめくると人間の行動を模倣する。
  論文  参考訳（メタデータ） (2024-05-27T08:26:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。