論文の概要: Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts

• arxiv url: http://arxiv.org/abs/2610.10460v1
• Date: Wed, 07 Oct 2026 17:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.07562
• Title: Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts
• Title（参考訳）: 各教師が学んだことを構成する:教師の相対的変化による多教師のオンライン蒸留
• Abstract要約: マルチテラーオンライン蒸留(MOPD)は2つの設定で用いられる。 共通ドメイン構成では、複数の教師が1つのプロンプトドメインから各学生のロールアウトをスコアし、その信号は1つのターゲットを形成する。 ルートドドメイン蒸留では、異なるドメインからのプロンプトが対応するスペシャリストに割り当てられる。
• 参考スコア（独自算出の注目度）: 14.488126475122305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) is used in two settings. In common-domain composition, several teachers score each student rollout from one prompt domain and their signals form a single target; in routed-domain distillation, prompts from different domains are assigned to the corresponding specialist. Both settings usually transfer each teacher's endpoint policy, which mixes what post-training changed with preferences inherited from the teacher's base. We introduce $Δ$-MOPD, which transfers each teacher's teacher-minus-base logit shift re-anchored at the student's frozen initialization, and compare it with endpoint supervision in both settings while holding teacher selection fixed. We first expose the mechanism that impedes endpoint transfer: inherited base pull can exceed the post-training shift. Removing it reduces the teacher-term norm ratio and target--student KL. Across our experiments, the results suggest that shift targets are particularly useful when teacher signals are combined at a state. With three composed teachers, $Δ$-MOPD exceeds endpoint composition by $4.11$ Math and $1.95$ five-benchmark points; with two, it matches endpoint accuracy. Under phased routing, it achieves higher mean performance in both phase orders and reduces the observed order gap from $10.50$ to $6.42$ points. Under interleaved routing, where each update involves one teacher, the two targets perform comparably. The phased results provide supporting evidence that the benefit may extend to signals accumulated across training phases. Target construction is thus an independent design axis in MOPD, complementary to teacher selection.
• Abstract（参考訳）: マルチテラーオンライン蒸留(MOPD)は2つの設定で用いられる。 共通ドメイン構成では、複数の教師が1つのプロンプトドメインから各学生のロールアウトをスコアし、その信号が1つのターゲットを形成する。 両方の設定は通常、各教師のエンドポイントポリシーを転送するが、これはポストトレーニングが変更したものと、教師のベースから受け継いだ好みを混合する。 そこで本研究では,教師の凍結初期化時に各教師のロジットシフトを転送する$Δ$-MOPDを導入し,教師の選択を固定しながら,両設定のエンドポイント管理と比較する。 最初に、エンドポイント転送を妨げるメカニズムを公開します。継承されたベースプルは、トレーニング後のシフトを超えます。 取り除くことで、教師の長期標準比と目標-学生KLが減少する。 実験の結果,教師の信号が組み合わさった場合,シフトターゲットは特に有用であることが示唆された。 3人の構成教師で、$Δ$-MOPDはエンドポイントの構成を4.11$ Mathと$1.95$5ベンチマークポイントで上回っている。 フェーズドルーティングでは、両フェーズオーダの平均性能が向上し、観測されたオーダーギャップを10.50ドルから6.42ドルポイントに削減する。 インターリーブされたルーティングでは、各アップデートは1人の教師を含む。 段階的な結果は、この利点が訓練段階にまたがって蓄積された信号にまで拡張できるという証拠を提供する。 したがって、ターゲット構築はMOPDにおける独立した設計軸であり、教師の選択を補完するものである。

関連論文リスト

• Latent-MOPD: Latent Multi-Teacher On-Policy Distillation [10.355096792155168]
  LLMのための表現レベル多重教師OPD法について,Latent-MOPDを紹介した。 既存のスペシャリストを、予測とそれらを計算するために使用される隠された状態の両方を通じて統合する。 この結果から,一人の学生が,出力分布と内部表現の両面から,複数の専門家の能力を統合できることが示唆された。
  論文  参考訳（メタデータ） (2026-10-01T19:01:56Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation [25.107813325230207]
  ドメインラベルや個別のルーティングモデルを訓練することなく,各トークンにおける教師プール全体の管理をルーティングするフレームワークを提案する。 本インターフェースでは,教師がポストトレーニング中に取得した特殊化を,現在のトークンで生徒に補正するかどうかによって,各教師をスコアリングするExpertAlignを提案する。
  論文  参考訳（メタデータ） (2026-09-25T05:32:03Z)
• Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models [68.52262705081098]
  オンライン蒸留は、生徒自身の方針からサンプリングされた軌跡を監督することによって、教師の能力を伝達する。 OPDは,特定の問題に対する回答よりも,教師の推論行動を伝達することがわかった。
  論文  参考訳（メタデータ） (2026-08-17T14:46:53Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。