論文の概要: The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00332v1
• Date: Tue, 29 Sep 2026 13:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.613424
• Title: The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
• Title（参考訳）: ウェイクストリンク:最悪のケース制約強化学習によるLLM推論の蒸留
• Abstract要約: 現在のアプローチは緊張に直面している。検証可能なタスク報酬を純粋に最適化することは、報酬のハッキングにつながる。 この平均化は、基本的に推論の性質と不一致である、と我々は主張する。 本研究の目的は, 蒸留法を強化学習問題として定式化することである。
• 参考スコア（独自算出の注目度）: 13.582247024726156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distilling the reasoning capabilities of large language models (LLMs) into smaller students is a central challenge for efficient deployment. Current approaches face a fundamental tension: optimizing purely for verifiable task rewards (e.g., via GRPO) leads to reward hacking, where students arrive at correct final answers through flawed intermediate logic, while regularizing with soft divergence penalties against a teacher (e.g., KL-based distillation) dilutes task performance and, critically, allows the student to compensate for severe logical violations at one step with high teacher agreement at others. We argue that this averaging is fundamentally misaligned with the nature of reasoning: a chain-of-thought is only as valid as its weakest link. Motivated by this observation, we formulate reasoning distillation as a constrained reinforcement learning problem in which the task reward is maximized subject to a worst-case constraint on the teacher log-likelihood along every prefix of the trajectory. To avoid the prohibitive cost of dual Lagrangian solvers and the test-time teacher dependence of state-augmented methods such as Saute, we derive an unaugmented constrained MDP whose reward transformation preserves the hard-constraint semantics, admits a low-variance policy gradient decomposition into single-step and long-term terms, and provably satisfies the worst-case constraint almost surely in the penalty limit. Through extensive experiments on mathematical reasoning and code generation tasks, we demonstrate that our method significantly expands the accuracy-fidelity Pareto front. By matching the high Final Answer Correctness of pure RL and drastically reducing teacher constraint violations, we ultimately achieve the highest rigorous Reasoning Success Rate across all evaluated settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力を小規模の学生に拡張することは、効率的なデプロイメントにおける中心的な課題である。 現在のアプローチは、純粋に検証可能なタスク報酬(例えばGRPO)に最適化することで、学生が欠陥のある中間論理を通じて正しい最終回答に到達するような報酬ハックにつながる。 この平均化は、基本的に推論の性質と不一致である:思考の連鎖は最も弱いリンクと同程度に有効である。 本研究の目的は,授業報酬を最大化できる制約付き強化学習問題として蒸留法を定式化することである。 2つのラグランジアンソルバの禁止コストと、ソーテのようなステート拡張メソッドの試験時間教師依存を回避するために、報酬変換がハード制約セマンティクスを保存し、低分散政策勾配分解を単一段階および長期項に分解し、ペナルティ限界にほぼ確実に最悪の制約を満足する未拡張制約付きMDPを導出する。 数学的推論とコード生成タスクに関する広範な実験を通じて,提案手法が精度・忠実度パレートを著しく拡張することを示した。 純粋なRLの解答精度を高く設定し、教師の制約違反を大幅に減らし、最終的に評価されたすべての設定において最も厳密な推論成功率を達成する。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• \mathsf{VISTA}: Decentralized Machine Learning in Adversary Dominated Environments [21.69919643934826]
  分散機械学習は、評価などのアウトソーシング計算を信頼できないワーカノードに頼っていることが多い。 本稿では, 相互に整合性がある場合にのみ, 報告を受理し, 報奨するインセンティブ指向の枠組みを通じて, 敵に支配される設定について検討する。 本稿では,最適化履歴を用いた適応アルゴリズムであるmathsfVISTAを提案する。
  論文  参考訳（メタデータ） (2026-05-08T15:07:15Z)
• Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
  小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。 オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。 本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:15:12Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective [13.582247024726156]
  本稿では, 大規模言語モデル (LLM) の蒸留に制約付き強化学習問題として定式化することによって, 新たなアプローチを導入する。 本稿では,教師モデルからの逸脱を一定の閾値以下に抑えながら,タスク固有の報酬を最大化する最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T20:47:49Z)
• Model-Aware Contrastive Learning: Towards Escaping the Dilemmas [11.27589489269041]
  コントラスト学習(CL)は、複数の領域にわたる重要なブレークスルーを継続的に達成する。 InfoNCEベースの手法は、テクスチュニフォーム・トレランス・ジレンマ(UTD)やテクスチュイディグレート・リダクション(UTD)など、いくつかのジレンマに悩まされている。 本稿では,インスタンス識別タスクの基本的な信頼性を反映したアライメントの程度に温度が適応するモデル認識コントラスト学習(MACL)戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-16T08:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。