論文の概要: Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.26950v2
• Date: Wed, 21 Oct 2026 07:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.081624
• Title: Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation
• Title（参考訳）: 政策格差を超えて: 能力に配慮した多教師のオンライン蒸留
• Abstract要約: マルチティーチンガー・オン・ポリシー蒸留は、ドメインスペシャリストを共有学生に統合する。 相違に基づくアロケーションは、生徒が既に教師のタスクパフォーマンスに適合または超えている場合でも、強力な監督を割り当てることができる。 本稿では,生徒がすでに学んだことを考慮し,能力を考慮したマルチティーチンガー・オン・ポリシィ蒸留(CA-MOPD)を提案する。
• 参考スコア（独自算出の注目度）: 5.570608951400019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) integrates domain specialists into a shared student, but determining how strongly each teacher should supervise remains challenging. Existing discrepancy-based allocation can assign strong supervision even when the student already matches or exceeds the teacher's task performance, since behavioral mismatch does not necessarily imply a remaining capability deficit. We propose Capability-Aware Multi-Teacher On-Policy Distillation (CA-MOPD), which combines specialist merging with capability-guided allocation to account for what the student has already learned. CA-MOPD first merges reinforcement-learning specialists into a strong student initialization, then uses verifier-estimated teacher--student capability gaps to adjust domain-level distillation strength. Supervision decreases as capability gaps close and increases when estimated student capability regresses, while dense token-level guidance remains provided by the teachers. Across six benchmarks spanning mathematics, code generation, and instruction following, CA-MOPD achieves an average score of 32.22, outperforming naive MOPD, Open-MOPD, and the merged initialization by 0.86, 0.83, and 0.74 points, respectively. Controlled comparisons further support the benefits of merged initialization and capability-gap guidance under matched training budgets.
• Abstract（参考訳）: マルチティーチンガー・オン・ポリシー蒸留(MOPD)は、ドメインスペシャリストを共有学生に統合するが、各教師がいかに強く監督すべきかを判断するのは難しい。 既存の不一致に基づくアロケーションは、生徒が既に教師のタスクパフォーマンスにマッチしたり、超えたりしても、強い監督を割り当てることができる。 筆者らは, 専門家と有能誘導型アロケーションを併用して, 学生が既に学んだことを考慮し, 能力認識型マルチティーチンガー・オン・ポリティシィ蒸留(CA-MOPD)を提案する。 CA-MOPDは、まず強化学習の専門家を強力な学生初期化にマージし、検証者推定教師能力ギャップを用いてドメインレベルの蒸留強度を調整する。 生徒の能力の低下が予測されると、能力のギャップが近づき、増加するにつれて、スーパービジョンは減少するが、一方で教師による密集したトークンレベルの指導は依然として残っている。 数学、コード生成、命令にまたがる6つのベンチマークで、CA-MOPDは平均スコア32.22、単純MOPD、Open-MOPD、合併初期化0.86、0.83、0.74をそれぞれ上回っている。 制御された比較は、一致したトレーニング予算の下で、統合初期化と能力ギャップガイダンスの利点をさらに支援します。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
  オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。 S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。 我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
  論文  参考訳（メタデータ） (2026-09-30T06:55:48Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
  CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。 CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。 我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
  論文  参考訳（メタデータ） (2026-01-20T14:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。