論文の概要: MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.30837v2
- Date: Mon, 28 Sep 2026 12:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-29 21:31:51.816933
- Title: MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation
- Title（参考訳）: MOPD-Router:マルチ教師のオンライン蒸留における教師のルーティング再考
- Abstract要約: ドメインラベルや個別のルーティングモデルを訓練することなく,各トークンにおける教師プール全体の管理をルーティングするフレームワークを提案する。
本インターフェースでは,教師がポストトレーニング中に取得した特殊化を,現在のトークンで生徒に補正するかどうかによって,各教師をスコアリングするExpertAlignを提案する。
- 参考スコア（独自算出の注目度）: 25.107813325230207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-teacher on-policy distillation (MOPD) integrates specialized capabilities into a single student, but existing practice typically hard-routes each prompt to a domain-matched teacher for the entire rollout. This dependence on prompt-level domain labels restricts using unlabeled training mixtures and leaves complementary signals from other teachers unused. We introduce MOPD-Router, a framework that routes supervision over the full teacher pool at each token, without domain labels or training a separate routing model. Its plug-in interface supports different metrics for selecting and weighting teacher-specific OPD signals. Within this interface, we propose ExpertAlign, which scores each teacher by whether its correction to the student at the current token expresses the specialization that teacher acquired during post-training, and compare it against two reference metrics built on teacher confidence (Entropy) and teacher-student discrepancy (Novelty). Experiments on unlabeled and domain-labeled training mixtures under strong-to-weak and same-size distillation scenarios show that ExpertAlign achieves the strongest overall performance in all four settings. On unlabeled data, it improves the overall score by 5.88 (+12.3%) points over Mean aggregation; on domain-labeled data, it outperforms standard MOPD by 3.95 (+7.8%) points without using available domain labels. These results demonstrate token-level routing can exploit cross-domain complementary supervision, and reduce exclusive reliance on prompt-level domain assignment. Code is available at: https://github.com/TURLEing/MOPD-Router.
- Abstract（参考訳）: マルチティーチンガー・オン・ポリシー蒸留(MOPD)は、特定の能力を1人の生徒に組み込むが、既存の実践は通常、ロールアウト全体のために各プロンプトをドメインマッチングされた教師にハードルートする。
このプロンプトレベルのドメインラベルへの依存は、ラベルなしのトレーニングミックスを使用して制限され、他の教師が使用していない補完的な信号を残す。
我々はMOPD-Routerを紹介した。MOPD-Routerは、ドメインラベルや個別のルーティングモデルをトレーニングすることなく、各トークンの教師プール全体に対する監督をルーティングするフレームワークである。
プラグインインターフェースは、教師固有のPD信号の選択と重み付けのために、さまざまなメトリクスをサポートする。
本インタフェースでは,教師の信頼度(エントロピー)と教師の信頼度(ノベルティ)を基準とした2つの基準指標と比較し,現行のトークンにおける生徒への補正が,教師がポストトレーニング中に取得した特殊化を表現するか否かを,各教師に評価することを提案する。
強い弱弱度と等サイズの蒸留シナリオ下での未ラベルおよびドメインラベルのトレーニング混合物の実験は、ExpertAlignが4つの設定で最高の総合的なパフォーマンスを達成していることを示している。
ラベルなしのデータでは、平均集計よりもスコアが5.88ポイント(+12.3%)向上し、ドメインラベル付きデータでは標準MOPDよりも3.95ポイント(+7.8%)向上している。
これらの結果から、トークンレベルのルーティングはドメイン間の補完的な監視を活用でき、プロンプトレベルのドメイン割り当てへの排他的依存を減らすことができる。
コードは、https://github.com/TURLEing/MOPD-Router.comで入手できる。
関連論文リスト
- Distill What You Trust: Reliability-Aware Multi-Teacher On-Policy Distillation [28.795804636027977]
ドメイン悪用されたアプローチは、例ごとに1つの教師を選択し、レスポンス全体を通してそれを修正します。
textbfTrustMOPDは,サンプルレベルの教師選択をラベルのないトークンレベルのアロケーションアロケーションに置き換える。
論文 参考訳（メタデータ） (2026-09-20T15:15:24Z) - CALM: Class-wise Agreement and Label-gated Disagreement Modulation for Decentralized Federated Learning [1.1617094867403568]
CALMは、あらゆる難しい決定をスムーズな信頼ゲートに置き換える。
均一で硬ろ過された蒸留よりも一貫して優れており、競合する異種FL法に適合するか超えている。
論文 参考訳（メタデータ） (2026-09-05T05:13:07Z) - Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs [13.74158437063828]
MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。
MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。
Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
論文 参考訳（メタデータ） (2026-09-02T13:00:45Z) - D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳（メタデータ） (2026-08-25T17:57:11Z) - Heuristic-Free Multi-Teacher Learning [0.6597195879147557]
Teacher2Taskは、手動のアグリゲーションを不要にする、マルチ先生学習のための新しいフレームワークである。
集約されたラベルに頼る代わりに、このフレームワークは、Nの教師による基礎的な真理ラベルとアノテーションからなるトレーニングデータをN+1の異なるタスクに変換する。
論文 参考訳（メタデータ） (2024-11-19T18:45:16Z) - Cyclic-Bootstrap Labeling for Weakly Supervised Object Detection [134.05510658882278]
Cyclic-Bootstrap Labeling (CBL) は、弱制御されたオブジェクト検出パイプラインである。
様々な改良モジュールを活用するために、重み付けされた指数移動平均戦略を使用する。
重み付きアンサンブル型教師ネットワークの出力を活用するために, クラス別ランキング蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-11T07:57:17Z) - Label Matching Semi-Supervised Object Detection [85.99282969977541]
半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。
ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。
本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-14T05:59:41Z) - Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive
Person Re-Identification [54.58165777717885]
本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。
マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
論文 参考訳（メタデータ） (2021-05-11T04:09:49Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳（メタデータ） (2021-04-01T23:41:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。