論文の概要: On-Policy Self-Distillation with Teacher Evolution

• arxiv url: http://arxiv.org/abs/2610.38637v1
• Date: Wed, 28 Oct 2026 10:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.395899
• Title: On-Policy Self-Distillation with Teacher Evolution
• Title（参考訳）: 教師の進化にともなうオンライン自己蒸留
• Abstract要約: On-Policy Self-Distillation (OPSD) は、学生モデルのトークンレベルの分布と特権的文脈によって引き起こされる自己教師の分布を一致させることを目的としている。 OPSDはトレーニング中の継続的なパフォーマンス向上に失敗することが多い。 本稿では,教師・進化型自己蒸留(TESD)を提案する。これは,自己学習者がタスクの正しさとコンテキスト独立性に基づいて,ロールアウトを生成し,環境フィードバックを受けられるようにする。
• 参考スコア（独自算出の注目度）: 35.387370832532575
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: On-Policy Self-Distillation (OPSD), which aligns a student model's token-level distribution with that of its self-teacher prompted by privileged context, has emerged as a promising direction to mitigate reward sparsity in sequence-level post-training paradigms. However, OPSD often fails to achieve continuous performance gains during training. In this paper, we find that the model's limited self-teaching capability underlies this phenomenon by generating unreliable guidance on certain samples. To address this problem, we propose Teacher-Evolution Self-Distillation (TESD), which enables the self-teacher to generate rollouts and receive environmental feedback based on task correctness and context independence. First, using these rewards as training objectives, we perform teacher-oriented optimization to continuously enhance the model's self-teaching capability during distillation. Second, by estimating teacher guidance reliability from these rewards, we apply adaptive student-oriented optimization to down-weight samples with unreliable guidance. Extensive experiments across multiple datasets and model scales show that TESD consistently outperforms representative token-level and sequence-level methods, highlighting the necessity of improving supervision quality in OPSD.
• Abstract（参考訳）: On-Policy Self-Distillation (OPSD) は、学生モデルのトークンレベルの分布と特権的文脈によって誘導される自己教育者の分布とを一致させ、シーケンスレベルのポストトレーニングパラダイムにおける報酬の空間性を軽減するための有望な方向として登場した。 しかし、OPSDはトレーニング中の継続的なパフォーマンス向上に失敗することが多い。 本稿では,モデルの限定的な自己学習能力が,特定のサンプルに対する信頼できないガイダンスを生成することによって,この現象の根底にあることを明らかにする。 この問題を解決するために,教師・進化型自己蒸留(TESD)を提案する。これは,自己学習者がタスクの正しさとコンテキスト独立性に基づいて,ロールアウトを生成し,環境フィードバックを受信することを可能にする。 まず,これらの報奨を訓練目的として利用し,蒸留中のモデルの自己学習能力を継続的に向上させるために,教師指向の最適化を行う。 第2に、これらの報奨から教師指導の信頼性を推定することにより、教師指導の信頼性が低いダウンウェイト標本に適応的な学生指向の最適化を適用する。 複数のデータセットとモデルスケールにわたる大規模な実験により、TESDは典型的なトークンレベルおよびシーケンスレベルのメソッドを一貫して上回り、OPSDの監視品質を改善する必要性を強調している。

関連論文リスト

• Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization [12.210163599342161]
  自己蒸留ポリシーの最適化は、フィードバック条件の自己学習者によるLCM後トレーニングの高密度トークンレベル管理を提供する。 本研究では,学生と自己学習者の分布を混合して正当性に依存した目標を構築する,自己蒸留による非対称政策最適化(APSD)を提案する。
  論文  参考訳（メタデータ） (2026-10-19T08:03:09Z)
• Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
  SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。 理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。 BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T14:26:41Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。