論文の概要: Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.35347v1
• Date: Mon, 28 Sep 2026 15:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:17:35.731531
• Title: Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
• Title（参考訳）: 教師の割り当てを超えて:ドメイン非正規化マルチ教師のオンライン蒸留
• Abstract要約: マルチティーチンガー・オン・ポリシー蒸留は、専門家が1人の生徒に教えることを可能にする。 生徒は各プロンプトに答え、そのプロンプトのドメインの専門家は各トークンにフィードバックを与える。 このルーティングは、どのスペシャリストが教えるかを決定するが、そのフィードバックが共有学生をどれほど強く動かすかは決定しない。 そこで本研究では,各領域のフィードバックを各領域に分散させて再スケールするMOPDを提案する。
• 参考スコア（独自算出の注目度）: 52.54764167264494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning can turn one language model into several specialists, each excellent at a single skill such as mathematics, coding or following instructions, but users need one model with all of these skills. Multi-teacher on-policy distillation (MOPD) merges them by letting the specialists teach one student: the student answers each prompt, and the specialist for that prompt's domain gives feedback on every token. This routing decides which specialist teaches, but not how strongly its feedback moves the shared student. In Qwen3.5 models at three sizes, we find that MOPD's student does not beat one taught by the best single specialist and gains little of the mathematics specialist's advantage. The feedback is unbalanced: instruction-following feedback is several times more spread out than mathematics feedback and dominates the student's updates. We propose Domain-Normalized MOPD (DN-MOPD), which keeps the routing and rescales each domain's feedback by its measured spread. On six public benchmarks, DN-MOPD improves the average score over MOPD at every size, across three random seeds and under two answer-length limits, and recovers most of the lost mathematics gain. Controls with fixed domain weights show that the gain comes mainly from turning down instruction-following feedback rather than turning up mathematics alone, and that fixed weights close to those DN-MOPD measures perform comparably. Combining specialists therefore requires deciding not only which one teaches, but also how strongly its feedback counts.
• Abstract（参考訳）: 強化学習は、1つの言語モデルをいくつかの専門家に変えることができ、それぞれが数学、コーディング、指示に従う単一のスキルに優れるが、ユーザーはこれらのスキルを全て持つ1つのモデルが必要である。 マルチ教師のオンライン蒸留(MOPD)は、専門家が一人の生徒に教えることによって、それらを融合させる:学生は各プロンプトに答え、そのプロンプトのドメインの専門家は全てのトークンにフィードバックを与える。 このルーティングは、どのスペシャリストが教えるかを決定するが、そのフィードバックが共有学生をどれほど強く動かすかは決定しない。 3つのサイズのQwen3.5モデルでは、MOPDの学生は最高のシングルスペシャリストが教えたモデルに勝っておらず、数学スペシャリストの優位性はほとんど得られていない。 インストラクション追従フィードバックは数学のフィードバックの何倍も広がり、生徒の更新を支配している。 本研究では,DN-MOPD(Domain-Normalized MOPD)を提案する。 6つの公開ベンチマークにおいて、DN-MOPDは、3つのランダムシードと2つの応答長制限でMOPDよりも平均スコアを向上し、失った数学のゲインのほとんどを回復する。 固定された領域重みを持つ制御は、主に数学を単体で行うのではなく、命令追従フィードバックを断ち切ることから得られるものであり、これらのDN-MOPD測度に近い固定重みが相容れないことを示している。 そのため、専門家を組み合わせるには、どの教師を教えるかだけでなく、そのフィードバックがどれだけ強く数えられるかを判断する必要がある。

関連論文リスト

• MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation [25.107813325230207]
  ドメインラベルや個別のルーティングモデルを訓練することなく,各トークンにおける教師プール全体の管理をルーティングするフレームワークを提案する。 本インターフェースでは,教師がポストトレーニング中に取得した特殊化を,現在のトークンで生徒に補正するかどうかによって,各教師をスコアリングするExpertAlignを提案する。
  論文  参考訳（メタデータ） (2026-09-25T05:32:03Z)
• Distill What You Trust: Reliability-Aware Multi-Teacher On-Policy Distillation [28.795804636027977]
  ドメイン悪用されたアプローチは、例ごとに1つの教師を選択し、レスポンス全体を通してそれを修正します。 textbfTrustMOPDは,サンプルレベルの教師選択をラベルのないトークンレベルのアロケーションアロケーションに置き換える。
  論文  参考訳（メタデータ） (2026-09-20T15:15:24Z)
• Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs [13.74158437063828]
  MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。 MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。 Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
  論文  参考訳（メタデータ） (2026-09-02T13:00:45Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context [40.91201403670402]
  本研究では,教師が学習可能なソフトプロンプトのみで生徒と異なる方法を提案する。 メソッドは、マージされたコーパスの各例を対応するソフトプロンプトの教師にルーティングすることで、マルチタスク設定に自然に拡張する。 Qwen3-1.7BベースとPhi-4-mini-インストラクタでは、単一タスクの変種が完全な微調整と一致するか、あるいは超える。
  論文  参考訳（メタデータ） (2026-06-30T19:56:05Z)
• Personalized Multimodal Feedback Generation in Education [50.95346877192268]
  学校課題の自動評価は、教育分野におけるAIの重要な応用である。 モーダルゲート機構とパーソナライズされたバイアス機構を備えたPMFGN(Personalized Multimodal Feedback Generation Network)を提案する。 我々のモデルは、より正確で多様なフィードバックを生成することによって、いくつかのベースラインを著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-31T05:26:49Z)
• Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback [62.997667081978825]
  本稿では,ユーザのフィードバックを考慮し,3つの戦略を用いて評価する手法を提案する。 ユーザからのフィードバックが制限されているにも関わらず(全体の20%以下)、我々の手法は最先端のアプローチと同じような結果が得られる。
  論文  参考訳（メタデータ） (2020-09-16T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。