論文の概要: Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation
- arxiv url: http://arxiv.org/abs/2606.19327v1
- Date: Wed, 17 Jun 2026 17:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.300144
- Title: Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation
- Title（参考訳）: リワード・スーパービジョンの再考 : ルブリック・コンディション・セルフ蒸留
- Authors: Siyi Gu, Jialin Chen, Sophia Zhou, Arman Cohan, Rex Ying,
- Abstract要約: 我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
- 参考スコア（独自算出の注目度）: 60.55792673956761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training of reasoning language models is commonly driven by supervised distillation and reinforcement learning with verifiable rewards. Distillation often relies on chain-of-thought annotations that are expensive to obtain and may themselves be noisy, incomplete, or partially incorrect; even when the final solution is correct, an imperfect rationale can interfere with learning. Reinforcement learning with verified rewards, on the other hand, typically compresses evaluative feedback into a scalar signal, obscuring which aspects of a response should be improved. We propose \textbf{Rubric-Conditioned Self-Distillation}, a framework that incorporates rubrics as structured, fine-grained feedback for on-policy self-distillation. Our method conditions the teacher model on criterion-level rubrics and uses it to provide token-level guidance on the student's own sampled trajectories. This design avoids treating a single reference rationale as the sole supervision target. Instead, rubrics specify what a strong response should satisfy, enabling more fine-grained credit assignment over the reasoning process than scalar reward optimization. We instantiate this framework with a two-stage pipeline that first learns to generate task-specific rubrics and then trains a rubric-guided reasoner. We evaluate on a diverse suite of science reasoning benchmarks and results show that rubric-conditioned self-distillation effectively converts rubric-level criteria into token-level guidance over the reasoning process, surpassing GRPO by 1.0 points and OPSD by 0.9 points on average.
- Abstract（参考訳）: 推論言語モデルのポストトレーニングは、一般的に、教師付き蒸留と、検証可能な報酬を伴う強化学習によって推進される。
蒸留は、しばしば、入手するのに高価であり、それ自体がうるさい、不完全、あるいは部分的に不正確であるかもしれないチェーン・オブ・シント・アノテーションに依存している。
一方、評価的なフィードバックをスカラー信号に圧縮し、応答のどの側面を改善するべきかを判断する。
本稿では, ルブリックを構造的, きめ細かいフィードバックとして組み込んだフレームワークである「textbf{Rubric-Conditioned Self-Distillation」を提案する。
提案手法は,教師が基準レベルのルーリックに設定し,それを用いて,学生自身のサンプルトラジェクトリのトークンレベルガイダンスを提供する。
この設計は、単一の参照論理を唯一の監視対象として扱うことを避ける。
代わりに、ルーブリックは、強い応答が満足するものを指定し、スカラー報酬最適化よりも、推論プロセスよりもきめ細かいクレジット割り当てを可能にする。
このフレームワークを2段階のパイプラインでインスタンス化し、まず最初にタスク固有のルーブリックを生成し、次にルーブリック誘導推論器をトレーニングします。
その結果,ルーブリック条件の自己蒸留は,ルーブリックレベルの基準を,推理過程上のトークンレベルのガイダンスに効果的に変換し,GRPOを1.0ポイント,OPSDを0.9ポイント上回る結果が得られた。
関連論文リスト
- The Role of Feedback Alignment in Self-Distillation [0.3580891736370874]
自己蒸留は、文脈が存在しないときにこの改善を維持するようモデルを訓練する。
本研究では,凍結した評論家からのフィードバックに基づいて,解法を訓練し,自己蒸留のための文脈設計について検討する。
論文 参考訳（メタデータ） (2026-06-09T17:50:09Z) - Distilling LLM Feedback for Lean Theorem Proving [20.86168010460303]
推論モデルのポストトレーニングは通常、教師付き微調整と、検証可能な報酬からの強化学習を組み合わせる。
このアルゴリズムはスパース報酬、限られた探索、モード崩壊に悩まされている。
本稿では,モデルがトークンレベルで,特権フィードバックを条件とした独自の分布に適合するように訓練されたトレーニング手法であるフィードバック蒸留を提案する。
論文 参考訳（メタデータ） (2026-05-29T05:35:00Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation [22.436966302243565]
オンラインの自己蒸留は、訓練後の言語モデルにとって有望なパラダイムとして現れている。
本稿では, 自己蒸留トークンの報酬が, 入力されたフィードバックと応答の正確な相互情報であるベイズフィルタインクリメントであることを示す。
本稿では、バッチコントラストベースラインで入力固有のコンポーネントを分離するCREDITを提案する。
論文 参考訳（メタデータ） (2026-05-12T06:43:17Z) - RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。
提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。
その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
論文 参考訳（メタデータ） (2026-04-13T15:38:09Z) - In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。
InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。
その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
論文 参考訳（メタデータ） (2025-11-13T01:47:06Z) - Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。
学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
論文 参考訳（メタデータ） (2025-10-02T09:55:26Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。