論文の概要: LoOPSD: On-Policy Self-Distillation with Looped Teachers

• arxiv url: http://arxiv.org/abs/2610.18162v1
• Date: Tue, 13 Oct 2026 11:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.599349
• Title: LoOPSD: On-Policy Self-Distillation with Looped Teachers
• Title（参考訳）: LoOPSD: ループ教師によるオンライン自己蒸留
• Abstract要約: モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
• 参考スコア（独自算出の注目度）: 74.28216878502211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation improves a model using guidance from the model itself, but it still requires a teacher that provides more useful predictions than the student. Existing approaches obtain such guidance by giving the teacher additional context or instructions. We ask whether it can instead come from changing how the same model uses its own layers. To address this, we introduce LoOPSD, which searches over a model's layer execution order to construct a stronger teacher and distills its advantage into the student. Specifically, we keep the model weights unchanged while searching for layers to repeat, and use the resulting teacher's predictions on student-generated prefixes to guide learning. We then alternate search and distillation, rebuilding the teacher from the updated student in each round so that the student progressively absorbs the gains from alternative layer execution. Experiments on mathematical and logical reasoning tasks show improvements across models. On GSM8K with a 400-token thinking budget, LoOPSD raises Qwen3-1.7B accuracy from 42.30% to 79.61%; subsequent distillation rounds yield further gains beyond the first round. Together, these findings show that by searching layer execution to construct teachers, we can turn a model's additional computation into improved student capabilities, opening a new avenue for self-distillation to derive supervision from the model's own computation.
• Abstract（参考訳）: オンライン自己蒸留は、モデル自体からのガイダンスを用いたモデルを改善するが、それでも学生よりも有用な予測を提供する教師が必要である。 既存のアプローチは、教師に追加のコンテキストや指示を与えることで、そのようなガイダンスを得る。 代わりに、同じモデルが独自のレイヤを使用する方法を変更することから得るものかどうかを問う。 そこで我々はLoOPSDを導入し,モデルの層実行順序を探索し,より強力な教師を構築し,その利点を学生に浸透させる。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。 そして、各ラウンドで教師を更新した生徒から再構築し、学生が代替層実行の利益を徐々に吸収するように、検索と蒸留を交互に行う。 数学的および論理的推論タスクの実験は、モデル全体の改善を示す。 400-tokenの思考予算を持つGSM8Kでは、LoOPSDはQwen3-1.7Bの精度を42.30%から79.61%に引き上げた。 これらの結果から,教師構築のための層実行を探索することにより,モデルの追加計算を生徒の能力向上に転換し,モデル自体の計算から教師を導くための自己蒸留の新たな道を開くことができることがわかった。

関連論文リスト

• Recursive Self-Improvement via On-Policy Distillation for Reasoning [15.999152579037556]
  オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。 学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。 生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
  論文  参考訳（メタデータ） (2026-09-25T00:42:31Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Choosy Babies Need One Coach: Inducing Mode-Seeking Behavior in BabyLlama with Reverse KL Divergence [13.905746880689108]
  バックボーンとしてBabyLLaMaモデルを用いた教師用蒸留装置を用いる。 目的関数を、計算学習者においてモード探索動作を引き起こすことが知られている逆のクルバック・リーブラー分岐に置き換える。 実験の結果,シングルティーチングモデルの方が,ほとんどのタスクにおいて,複数ティーチングモデルよりも優れ,あるいは一致していることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T14:36:50Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks [6.8080936803807734]
  グラフニューラルネットワーク(GNN)上の既存の知識蒸留手法はほとんどオフラインである。 本稿では,この問題を解決するための新しいオンライン知識蒸留フレームワークを提案する。 一方の学生層を別の学生モデルの異なる深さの層に整列させることにより, クロス層蒸留戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-05T06:48:13Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。