論文の概要: Bridged Self-Distillation for On-Policy Learning

• arxiv url: http://arxiv.org/abs/2610.26397v1
• Date: Mon, 19 Oct 2026 13:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 17:59:18.298118
• Title: Bridged Self-Distillation for On-Policy Learning
• Title（参考訳）: オンライン学習のためのブリッジ型自己蒸留
• Abstract要約: ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。 BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
• 参考スコア（独自算出の注目度）: 49.988786243314564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation can transfer the reasoning capabilities of a strong teacher to a smaller student. However, distillation from a stronger teacher model faces two mismatches: its solutions may be difficult for a smaller student to imitate, and its token-level probabilities may be incompatible with, or even unavailable to, the student. Existing methods handle these settings through different forms of supervision. To this end, we propose Bridged Self-Distillation (BSD), a unified framework for distilling from any teacher that provides reasoning traces. The model to be distilled from, termed the external teacher, first provides a reasoning trace as privileged context, which can be generated in an offline fashion. The student generates rollouts without this context, while a copy of the student conditioned on it, serving as the self-teacher, scores the same rollouts in the student's own token space. BSD uses the resulting token-level guidance to adjust updates on unsuccessful rollouts, with a verifier providing the outcome signal. As the external teacher is queried only to produce text, the same training procedure applies to all teacher scenarios: shared-tokenizer, cross-tokenizer, and closed API teachers. Across these scenarios, BSD improves over the base model and outperforms baselines tailored to each scenario, offering a novel and unified pathway for distillation. Code is available: https://github.com/TUMLegalTech/Bridged-Self-Distillation
• Abstract（参考訳）: オンライン蒸留は、強い教師の推論能力をより小さな学生に伝達することができる。 しかし、より強い教師モデルからの蒸留は2つのミスマッチに直面している:その解法は小学生が模倣することが困難であり、トークンレベルの確率は学生と互換性がない、あるいは不可能であるかもしれない。 既存のメソッドは、異なる形式の監視を通じてこれらの設定を処理します。 この目的のために、我々は、推論トレースを提供する教師から蒸留するための統一的なフレームワークであるBridged Self-Distillation (BSD)を提案する。 外部教師と呼ばれる、蒸留されるモデルは、まず、特権的文脈として推論トレースを提供し、オフラインで生成することができる。 学生は、この文脈を使わずにロールアウトを生成し、自己教師として機能する学生条件付き学生のコピーは、学生自身のトークン空間で同じロールアウトをスコアする。 BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗するロールアウトの更新を調整する。 外部の教師はテキストを作成するためにのみクエリされるので、同じトレーニング手順がすべての教師シナリオに適用される:共有トークン、クロストークン、クローズドAPI教師。 これらのシナリオ全体でBSDはベースモデルを改善し、各シナリオに合わせたベースラインを上回り、蒸留のための新しく統一された経路を提供する。 コードは:https://github.com/TUMLegalTech/Bridged-Self-Distillation

関連論文リスト

• LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
  モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
  論文  参考訳（メタデータ） (2026-10-13T11:07:04Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• ForkLeft: Entropy-First Rollouts for Prefix-Aligned Autoregressive-to-Diffusion Distillation [12.983899693598396]
  拡散言語モデル(DLM)はフレキシブルトークン順序と並列生成を提供する。 直接蒸留は基本的なミスマッチに直面し、自己回帰的な教師は左の接頭辞から予測し、一方DLMは両側のトークンに条件を付ける。 本稿では,教師の指導から学生のロールアウトを分離することで,このミスマッチを解決する蒸留フレームワークであるForkLeftを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T10:29:45Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Progressive distillation induces an implicit curriculum [44.528775476168654]
  より良い教師は必ずしも良い生徒を産むとは限らない。 この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。 スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
  論文  参考訳（メタデータ） (2024-10-07T19:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。