論文の概要: Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation

• arxiv url: http://arxiv.org/abs/2610.40574v1
• Date: Thu, 29 Oct 2026 17:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:34:35.9679
• Title: Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
• Title（参考訳）: すべてのTokenが独自の教師を必要としている: 複数教師がオン・ポリティクスの自己蒸留を適応
• Abstract要約: On-policy Self-distillation (OPSD) は、大規模言語モデルの訓練後において有効であることが証明されている。 トークンレベル適応型OPSD法であるMTA-OPSD(Multi-Teacher Adaptive On-policy Self-Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 32.87360896512666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy Self-distillation (OPSD) has proven effective for post-training large language models by constructing a teacher conditioned on privileged references. However, existing approaches keep the teacher fixed either throughout training by consistently exposing it to the full reference, or within each response by adaptively varying partial reference exposure only across responses. In this paper, we argue that neither of them is sufficient. Instead, every token needs its own teacher, as the teacher preference can vary token by token within the same response. Through a teacher-intervention pilot study, we validate that the teacher preference differs across tokens, and reveal that a preferred teacher can be identified for each token through majority voting and KL-based selection. Motivated by these findings, we propose Multi-teacher Adaptive On-policy Self-Distillation (MTA-OPSD), the first token-level adaptive OPSD method. Our method constructs a multi-teacher pool consisting of candidate teachers, and enables every token to adaptively select its preferred teacher during training. Experiments with Qwen3 models on mathematical reasoning tasks show that MTA-OPSD consistently outperforms existing OPSD approaches with an average gain of up to $+5.9$ over the base model, highlighting the importance of adapting teacher supervision at the token level. The code is available at https://github.com/xingzhejun/MTA-OPSD.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権的参照に条件付けされた教師を構築することで、大規模言語モデルの訓練後において有効であることが証明されている。 しかし、既存のアプローチでは、教師はトレーニングを通して、それを完全な参照に一貫して公開することで、あるいは、レスポンス間でのみ、適応的に部分的な参照露出を変化させることで、教師を固定している。 この論文では、どちらも十分ではないと論じる。 代わりに、すべてのトークンには独自の教師が必要です。 教師介入パイロットスタディを通じて、教師の選好がトークンによって異なることを検証するとともに、多数決とKLに基づく選択を通じて、各トークンに対して好みの教師を識別できることを明らかにする。 本研究の目的は,トークンレベル適応OPSD法であるMTA-OPSD(Multi-Teacher Adaptive On-policy Self-Distillation)を提案することである。 提案手法は,候補教師からなる複数教師プールを構築し,各トークンが学習中に好みの教師を適応的に選択できるようにする。 数学的推論タスクに関するQwen3モデルによる実験では、MTA-OPSDは既存のOPSDアプローチを一貫して上回り、平均的利益は5.9ドルまで上昇し、トークンレベルで教師の監督を適応させることの重要性を強調している。 コードはhttps://github.com/xingzhejun/MTA-OPSDで公開されている。

関連論文リスト

• OPDArena: Understanding Learning and Forgetting in On-Policy Distillation [55.0530106449001]
  教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。 RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。 制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
  論文  参考訳（メタデータ） (2026-10-19T01:51:24Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。