論文の概要: Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs

• arxiv url: http://arxiv.org/abs/2609.02548v1
• Date: Wed, 02 Sep 2026 13:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.337415
• Title: Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs
• Title（参考訳）: 正しい人から学ぶ: マルチドメインLDMのための回答証明型マルチテラー蒸留
• Abstract要約: MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。 MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。 Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
• 参考スコア（独自算出の注目度）: 13.74158437063828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern large language models (LLMs) rely on reinforcement learning to build strong capabilities in individual domains, but integrating those capabilities into a single deployable model remains challenging. By routing each sample to the teacher whose domain matches it, existing approaches let a domain label decide which teacher provides supervision. However, domain expertise holds only on average: the matched teacher is not always correct on a given sample, while a teacher from another domain sometimes is. The reliable teacher therefore has to be identified per sample, not per domain. In this paper, we introduce Multi-Teacher Self-Distillation Policy Optimization (MT-SDPO), an on-policy distillation method that unifies several frozen teachers into one student model. MT-SDPO consists of three components: (1) self-anchors, where a rollout is supervised by a correct rollout from its own group; (2) answer-verified eligibility, where a teacher may supervise a sample only if its own answer passes a verifier; and (3) privileged distillation, which merges the anchor and all verified feedback into one context that an exponential moving average self-teacher reads and the student does not, thereby keeping one policy at deployment. Across five students from three model families, MT-SDPO lifts the weakest domain of Qwen3-8B by 14.79 points and narrows its domain gap by 74.7%, a better balance than serving one matched teacher per domain. Verified reliability, not domain membership, should decide who teaches. Code is available at https://github.com/hexixiang/MT-SDPO.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、個々のドメインで強力な機能を構築するために強化学習に依存しているが、これらの機能を単一のデプロイ可能なモデルに統合することは依然として困難である。 各サンプルをドメインが一致する教師にルーティングすることで、既存のアプローチは、ドメインラベルがどの教師に監督を提供するかを判断する。 しかし、ドメインの専門知識は平均的にのみ保持され、マッチした教師が与えられたサンプルに対して常に正しいとは限らない一方で、別のドメインの教師が時々正しい。 したがって、信頼できる教師は、ドメインごとにではなく、サンプルごとに特定されなければならない。 本稿では,複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法であるMT-SDPO(Multi-Teacher Self-Distillation Policy Optimization)を導入する。 MT-SDPOは,(1)グループからの正しいロールアウトによってロールアウトが監督されるセルフアンカー,(2)教師が検証をパスした場合のみサンプルを監督できる回答検証適性,(3)アンカーとすべての検証済みのフィードバックを,指数的な移動平均的な自己学習者が読み取らない状況にマージする特権蒸留,の3つの構成要素から構成される。 MT-SDPOは3つのモデルファミリーの5人の生徒に対して、Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、その領域のギャップを74.7%狭めている。 認証された信頼性は、ドメインメンバーシップではなく、誰が教えるかを決定するべきです。 コードはhttps://github.com/hexixiang/MT-SDPO.comで入手できる。

関連論文リスト

• Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
  再利用した人工物によって3つの融合パラダイムを編成する。 モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
  論文  参考訳（メタデータ） (2026-08-27T17:38:04Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training [29.71786876690702]
  Multi-Teacher On-Policy Distillation (MOPD)は、複数のドメインRL教師の能力を組み合わせるためのポストトレーニングパラダイムである。 Qwen3-30B-A3Bでは、MOPDはMix-RL、Cascade RL、Off-Policy Finetune、Param-Mergeベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-29T14:51:28Z)
• Following the Teacher's Footsteps: Scheduled Checkpoint Distillation for Domain-Specific LLMs [5.786917616876281]
  大規模言語モデル(LLM)は、大規模であるため、ドメイン固有のタスクへのデプロイが困難である。 微調整LDMをより小さな学生モデルに蒸留することは有望な方法であるが、教師と生徒の間の容量ギャップは、しばしば最適以下のパフォーマンスをもたらす。 そこで,本研究では,学生が教師に有利なサブドメインの方が,教師に有利なサブドメインよりも優れているという,新たな理論的洞察を提案する。
  論文  参考訳（メタデータ） (2026-01-15T06:46:01Z)
• ME-D2N: Multi-Expert Domain Decompositional Network for Cross-Domain Few-Shot Learning [95.78635058475439]
  クロスドメインのFew-Shot Learningは、異なるドメインにわたるFew-Shot Learning問題に対処することを目的としている。 本稿では,ME-D2N(Multi-Expert Domain Decompositional Network)を技術的に貢献する。 本稿では,学生モデルを2つの領域関連部分に分解する新しい領域分解モジュールを提案する。
  論文  参考訳（メタデータ） (2022-10-11T09:24:47Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers [54.146208195806636]
  本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。 MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。 PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2021-06-02T08:42:33Z)
• Unsupervised Multi-Target Domain Adaptation Through Knowledge Distillation [14.088776449829345]
  非教師なし領域適応(UDA)は、ラベルなしデータの分布間のドメインシフトの問題を軽減する。 本稿では,複数の対象領域にまたがる一般化が可能なCNNを訓練するための,教師なしMTDA手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T14:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。