論文の概要: A Survey of On-Policy Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2604.00626v1
• Date: Wed, 01 Apr 2026 08:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.905737
• Title: A Survey of On-Policy Distillation for Large Language Models
• Title（参考訳）: 大規模言語モデルのオンライン蒸留に関する調査
• Authors: Mingyang Song, Mao Zheng,
• Abstract要約: この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
• 参考スコア（独自算出の注目度）: 19.95776080082138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has become a primary mechanism for transferring reasoning and domain expertise from frontier Large Language Models (LLMs) to smaller, deployable students. However, the dominant paradigm remains \textit{off-policy}: students train on static teacher-generated data and never encounter their own errors during learning. This train--test mismatch, an instance of \textit{exposure bias}, causes prediction errors to compound autoregressively at inference time. On-Policy Distillation (OPD) addresses this by letting the student generate its own trajectories and receive teacher feedback on these self-generated outputs, grounding distillation in the theory of interactive imitation learning. Despite rapid growth spanning divergence minimization, reward-guided learning, and self-play, the OPD literature remains fragmented with no unified treatment. This survey provides the first comprehensive overview of OPD for LLMs. We introduce a unified $f$-divergence framework over on-policy samples and organize the landscape along three orthogonal dimensions: \emph{feedback signal} (logit-based, outcome-based, or self-play), \emph{teacher access} (white-box, black-box, or teacher-free), and \emph{loss granularity} (token-level, sequence-level, or hybrid). We systematically analyze representative methods, examine industrial deployments, and identify open problems including distillation scaling laws, uncertainty-aware feedback, and agent-level distillation.
• Abstract（参考訳）: 知識蒸留は、フロンティア大言語モデル(LLM)から小規模で展開可能な学生へ推論とドメインの専門知識を移行するための主要なメカニズムとなっている。 しかし、支配的なパラダイムは「textit{off-policy}」であり、学生は静的教師生成データに基づいて訓練し、学習中に自分自身のエラーに遭遇することはない。 このトレイン-テストのミスマッチは、textit{exposure bias} のインスタンスであり、推論時に自動回帰的に予測エラーを引き起こす。 On-Policy Distillation (OPD)は、学生が自分自身の軌跡を生成させ、これらの自己生成出力に対する教師のフィードバックを受けさせることによってこの問題に対処し、インタラクティブな模倣学習の理論に蒸留を基礎づける。 ばらつきの最小化、報酬誘導学習、自己プレイといった急激な成長にもかかわらず、PD文献は統一的な治療を施さずに断片化されている。 この調査は、LDMのOPDに関する最初の総合的な概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,3つの直交次元に沿ってランドスケープを整理する: \emph{feedback signal} (logit-based, outcome-based, self-play), \emph{teacher access} (white-box, black-box, or teacher-free), \emph{losslossity} (token-level, sequence-level, or hybrid)。 我々は,代表的手法を体系的に分析し,産業展開を調査し,蒸留スケーリング法,不確実性を考慮したフィードバック,エージェントレベルの蒸留を含むオープンな問題を同定する。

関連論文リスト

• Task-Specific Knowledge Distillation via Intermediate Probes [5.183958775837362]
  本研究では,教師が隠れた状態で探究を訓練し,学生の指導の監督として出力ロジットではなく,探究の予測を利用する手法を提案する。 メソッドは、学生や教師にアーキテクチャの変更を必要とせず、アーキテクチャに依存しず、プローブトレーニングが安価で教師表現をキャッシュできるため、最小限の計算を追加する。
  論文  参考訳（メタデータ） (2026-02-18T10:56:10Z)
• Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models [44.041109669153506]
  On-Policy Self-Distillation (OPSD) は、教師と学生の両方がひとつのモデルで、異なるコンテキストを条件付けして機能するフレームワークである。 複数の数学的推論ベンチマークにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2026-01-26T17:56:50Z)
• Beyond classical and contemporary models: a transformative AI framework for student dropout prediction in distance learning using RAG, Prompt engineering, and Cross-modal fusion [0.4369550829556578]
  本稿では、ドロップアウト予測を再定義する変換型AIフレームワークを提案する。 フレームワークの精度は89%、F1スコアは0.88で、従来のモデルよりも7%、偽陰性は21%向上している。
  論文  参考訳（メタデータ） (2025-07-04T21:41:43Z)
• Context Consistency Learning via Sentence Removal for Semi-Supervised Video Paragraph Grounding [9.280423086981703]
  半教師付き学習を強化するための新しいコンテキスト一貫性学習(CCL)フレームワークを提案する。 CCLは、半教師付き学習を強化するために、一貫性の正規化と擬似ラベルのパラダイムを統一する。
  論文  参考訳（メタデータ） (2025-06-23T10:22:46Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。