論文の概要: Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.13521v1
• Date: Fri, 09 Oct 2026 12:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.582641
• Title: Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
• Title（参考訳）: ドメイン制御スーパービジョンを超えて:マルチテラーオンポリティー蒸留のためのクロステラーガード
• Abstract要約: マルチテラーオンポリケーション(MOPD)は、専門教師にドメイン固有のデータをルーティングすることで、オンポリケーション(OPD)を拡張する。 ロードMOPDは、同じ学生軌道上の補助的なクロスドメイン批評家として、非汚職教師を紹介している。 ロードMOPDは、不利な領域の劣化を軽減し、高い対立の下で5パーセント以上のポイントを獲得し、低衝突状態と3ドメイン設定での全体的なパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 24.624515382414213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) extends on-policy distillation (OPD) by routing domain-specific data to specialized teachers, integrating their capabilities through dense token-level supervision on student-generated trajectories. However, domain routing only distinguishes the supervision sources for different domains; updates from all domains still act on shared parameters. When teachers differ substantially in response style and domain expertise, supervision that is effective in isolation may still lead to persistent gradient conflicts and capability degradation during joint optimization. To address this challenge, we propose Cross-Teacher Guarding for MOPD (Road MOPD), which introduces non-routed teachers as auxiliary cross-domain critics on the same student trajectories and coordinates multi-teacher supervision through token-level credit assignment and gradient updates. Specifically, cross-teacher-guided credit assignment uses teacher agreement to strengthen token-level corrections jointly supported by the teachers and attenuate conflicting signals; preventive multi-teacher gradient projection uses auxiliary gradients from the same trajectories to constrain potentially conflicting updates and adaptively controls projection strength to retain target-domain learning signals. In experiments, Road MOPD mitigates degradation in the disadvantaged domain, gains over 5 percentage points under high conflict, and improves overall performance in low-conflict and three-domain settings.
• Abstract（参考訳）: マルチテラーオンライン蒸留(MOPD)は、専門教師にドメイン固有のデータをルーティングすることで、学生が生み出す軌跡の密集したトークンレベルの監督を通じて、その能力を統合することで、オンライン蒸留(OPD)を拡張している。 しかし、ドメインルーティングは異なるドメインの監視ソースのみを区別する。 教師が応答スタイルとドメインの専門性に大きく違いがある場合、孤立に有効な監督は、共同最適化中に永続的な勾配の衝突と能力低下につながる可能性がある。 この課題に対処するため,MOPD (Road MOPD) のためのクロス・テラー・ガードリングを提案する。これは,非汚職教師を同じ学生軌道上で補助的なクロスドメイン評論家として紹介し,トークンレベルのクレジット割り当てと勾配更新を通じてマルチテラーの監督を調整するものである。 具体的には、教師が共同で支持するトークンレベルの補正を強化し、矛盾する信号を緩和するために、教師の合意を利用する。 実験では、ロードMOPDは不利なドメインの劣化を軽減し、高い競合の下で5パーセント以上のポイントを獲得し、低競合と3ドメイン設定での全体的なパフォーマンスを改善する。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers [14.928358057434394]
  強化学習は理科教師を著しく改善させることができるが、教師がより小さな政治学の学生を監督する場合にその改善が残るかは定かではない。 本研究では, GRPO前後の教師系統, 複数の学生尺度, 直接GRPO, およびいくつかのオンライン蒸留目標を比較して, 数学的推論においてこの問題を考察する。
  論文  参考訳（メタデータ） (2026-10-05T08:26:20Z)
• MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation [25.107813325230207]
  ドメインラベルや個別のルーティングモデルを訓練することなく,各トークンにおける教師プール全体の管理をルーティングするフレームワークを提案する。 本インターフェースでは,教師がポストトレーニング中に取得した特殊化を,現在のトークンで生徒に補正するかどうかによって,各教師をスコアリングするExpertAlignを提案する。
  論文  参考訳（メタデータ） (2026-09-25T05:32:03Z)
• Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models [68.52262705081098]
  オンライン蒸留は、生徒自身の方針からサンプリングされた軌跡を監督することによって、教師の能力を伝達する。 OPDは,特定の問題に対する回答よりも,教師の推論行動を伝達することがわかった。
  論文  参考訳（メタデータ） (2026-08-17T14:46:53Z)
• H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation [31.41588745047352]
  H-OPDはマルチモーダル推論のための信頼度を考慮したヘテロジニアスマルチテラーPDフレームワークとして提案されている。 同じ推論プロセスで異種教員の相補性を検証することにより、H-OPDはタスクやサンプルレベルの教師ルーティングを置き換える。 H-OPDは、テキストのみの教師が重要な視覚的意味論にアクセスできるようにするために、視覚から言語への記述転送を利用する。
  論文  参考訳（メタデータ） (2026-07-01T07:37:10Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。