論文の概要: From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation

• arxiv url: http://arxiv.org/abs/2610.36445v1
• Date: Tue, 27 Oct 2026 00:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.217263
• Title: From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation
• Title（参考訳）: 溶媒軌道から軌道へ:認知に適応した推論蒸留
• Abstract要約: 大きな推論モデル(LRM)は、しばしば教師の生の軌跡を監督する。 この習慣は、蒸留の目的と教師の軌跡の性質とをミスマッチさせる。 本稿では, 学習者の認知に沿う軌跡を学習に変換するRLベースのフレームワークである認知関連推論蒸留(CARD)を提案する。
• 参考スコア（独自算出の注目度）: 20.724669707885216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation from large reasoning models (LRMs) often uses raw teacher trajectories as supervision. However, this practice creates a mismatch between the goal of distillation and the nature of teacher trajectories. Advanced LRMs typically improve their reasoning capabilities through reward-driven post-training, such as RLHF. This training optimizes them as strong solvers, rather than as teachers that produce reasoning processes smaller models can easily learn. Since smaller models have different "cognitive capacities" compared to their larger teachers, directly imitating raw teacher trajectories can sometimes be ineffective and often requires a substantial number of high-quality samples. To bridge this mismatch, we propose Cognition-Aligned Reasoning Distillation (CARD), an RL-based framework that transforms solver trajectories into teaching trajectories aligned with the student's cognition. Avoiding expensive resampling, our framework directly transforms existing trajectories. We optimize CARD with two reward signals: (1) a Distribution Alignment Reward that matches the student's predictive distribution, and (2) a Logical Coherence Reward that reduces misleading failed reasoning steps. Comprehensive evaluations across multiple student models and settings demonstrate that CARD outperforms distillation from raw teacher trajectories in in-domain settings while achieving substantial gains in out-of-distribution performance. Code is available at https://github.com/LiteSSLHub/CARD.
• Abstract（参考訳）: 大きな推論モデル(LRM)からの知識蒸留は、しばしば教師の生の軌跡を監督する。 しかし、この慣行は、蒸留の目的と教師の軌跡の性質とをミスマッチさせる。 先進的なLEMは、通常、RLHFのような報酬駆動のポストトレーニングによって推論能力を改善する。 このトレーニングは、より小さなモデルで容易に学習できる推論プロセスを生成する教師よりも、強力な解法としてそれらを最適化する。 より小さなモデルは、より大きな教師と異なる「認知能力」を持っているため、生の教師の軌跡を直接模倣することは、しばしば非効率であり、しばしばかなりの量の高品質のサンプルを必要とする。 このミスマッチを補うために,RLをベースとしたフレームワークであるCognition-Aligned Reasoning Distillation (CARD)を提案する。 高価な再サンプリングを避けるため、我々のフレームワークは既存の軌道を直接変換する。 我々は,(1)学生の予測分布に合致する分布アライメント・リワード,(2)失敗する推論ステップを減少させる論理的コヒーレンス・リワードの2つの報奨信号を用いてCARDを最適化する。 複数の学生モデルと設定の総合的な評価は、CARDが生の教師軌跡の蒸留をドメイン内設定で上回り、アウト・オブ・ディストリビューション性能のかなりの向上を達成していることを示している。 コードはhttps://github.com/LiteSSLHub/CARDで入手できる。

関連論文リスト

• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Reasoning Compression with Mixed-Policy Distillation [20.7258653384411]
  推論中心の大規模言語モデルは、しばしば過剰なトークンの使用と推論時復号コストを発生させる。 我々は,大規模教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。 MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-05-09T08:04:47Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• MENTOR: A Reinforcement Learning Framework for Enabling Tool Use in Small Models via Teacher-Optimized Rewards [8.645370827540996]
  大規模言語モデル (LLM) のツール使用能力をより小さく、より効率的な小言語モデル (SLM) に拡張することは、実用上の重要な課題である。 教師付き微調整(英語版)(SFT)は、堅牢な方法論を学ぶのではなく、静的な教師軌跡のセットを模倣するようにモデルを訓練するので、一般化に苦しむ。 本稿では,強化学習と教師誘導蒸留を組み合わせたフレームワークであるMENTORを提案する。
  論文  参考訳（メタデータ） (2025-10-21T08:03:14Z)
• Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
  経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。 従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
  論文  参考訳（メタデータ） (2025-08-23T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。