論文の概要: On-Policy Distillation Teaches New Skills but Not New Knowledge

• arxiv url: http://arxiv.org/abs/2610.09639v1
• Date: Wed, 07 Oct 2026 08:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.793583
• Title: On-Policy Distillation Teaches New Skills but Not New Knowledge
• Title（参考訳）: オンライン蒸留は新しいスキルを身につけるが、新しい知識は持たない
• Abstract要約: 本研究は,学生が多段階推論において,新たな事実知識や構成スキルを習得するかどうかを考察する。 オンライン蒸留はモデルのパラメトリック知識を拡大するのではなく、既に持っている知識を組織化し、構成することを教える。
• 参考スコア（独自算出の注目度）: 12.949322198287417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) strengthens language-model reasoning, yet whether students acquire new factual knowledge or compositional skill for multi-step reasoning remains unknown. We separate these capabilities using a controlled synthetic framework that measures the student's initial capabilities and independently controls the teacher's additional facts, compositional skill, or both. Across four models from three families, reverse-KL OPD reliably transfers compositional skill across unseen reasoning structures, but transfers minimal factual knowledge. Decoupling the distillation recipe reveals the source of this asymmetry: replacing reverse KL with forward KL restores factual transfer, whereas student rollouts specifically improve the execution of multi-step reasoning. Experiments on recent factual QA and competition mathematics show a similar asymmetry under reverse-KL OPD, yielding notable reasoning gains without factual memory expansion. Together, these results demonstrate that on-policy distillation does not expand a model's parametric knowledge, but instead teaches it to organize and compose the knowledge it already possesses.
• Abstract（参考訳）: オンライン蒸留(OPD)は言語モデル推論を強化するが、学生が新しい事実知識や多段階推論のための構成スキルを習得するかどうかは不明である。 これらの能力は、学生の初期能力を測定し、教師の付加的な事実、作曲スキル、あるいはその両方を独立に制御する、制御された合成フレームワークを用いて分離する。 3つの家系の4つのモデルの中で、逆KL OPDは、未知の推論構造をまたいで構成スキルを確実に伝達するが、最小限の事実知識を伝達する。 逆KLを前方KLに置き換えることで、現実の移動が復元されるのに対し、学生のロールアウトは多段階推論の実行を特に改善する。 最近の実数QAと競合数学の実験は、逆KL OPDの下でも同様な非対称性を示し、実数メモリ拡張なしで顕著な推論ゲインをもたらす。 これらの結果は、オンライン蒸留はモデルのパラメトリック知識を拡大するのではなく、既に持っている知識を組織化し、構成することを教えるものである。

関連論文リスト

• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing [29.04093718139423]
  大規模言語モデル(LLM)は、自然言語タスク全体にわたって顕著なパフォーマンスを達成するが、静的コーパスで訓練される。 これは知識編集(KE)のモチベーションであり、無関係な知識を変更せずにLLM内の特定の知識を更新する。 最近の研究は構造化知識から構造化されていないKE(UKE)へと移行し、編集は複数の事実を同時に記述する自由形式の通路である。 我々はHPSEを提案する。HPSEは、欠落した事実を生徒自身の軌道に配置するハイブリッドなロールアウトを構築する。
  論文  参考訳（メタデータ） (2026-08-12T05:06:39Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities [14.622809434748932]
  連続的知識適応のための簡易な文脈蒸留に基づくアプローチであるDiSC(Distillation via Split Contexts)を紹介する。 従来の微調整法や蒸留法と比較すると、新しい知識の習得と、指示追従、推論、事実知識といった忘れるスキルの軽減とのトレードオフを、忘れ忘れは一貫して報告する。
  論文  参考訳（メタデータ） (2026-02-17T23:49:47Z)
• Improving Knowledge Distillation with Teacher's Explanation [14.935696904019146]
  本稿では,KED(Knowledge Explaining Distillation)フレームワークを紹介する。 KEDは、教師の予測だけでなく、教師の説明からも学べるようにしている。 様々なデータセットに対する実験により,KEDの学生はKDの学生と同じような複雑さを著しく上回る結果が得られた。
  論文  参考訳（メタデータ） (2023-10-04T04:18:01Z)
• Knowledge Distillation $\approx$ Label Smoothing: Fact or Fallacy? [6.323424953013902]
  トレーニングしたモデルの予測的信頼度を比較することで,手法間の等価性を再検討する。 ほとんどの設定では、KDとLSは完全に反対方向にモデルの信頼性を駆動する。 KDでは、学生は知識だけでなく教師からの信頼も受け継ぎ、古典的な知識伝達の視点を強化している。
  論文  参考訳（メタデータ） (2023-01-30T02:05:24Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。