論文の概要: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.26124v1
• Date: Mon, 19 Oct 2026 10:15:12 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:03.875652
• Title: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation
• Title（参考訳）: Nash-MOPD:マルチ教師のオンライン蒸留におけるタスクトレードオフの最適化
• Abstract要約: Nash-MOPDは、逆KL統計を用いたローカルミニマックスゲームに基づく適応型ドメインスケジューラである。 学習の進捗の変化に対応し、追加の教師クエリやロールアウトなしで、よりゆっくりと改善されるドメインをサポートする。
• 参考スコア（独自算出の注目度）: 19.024050967585126
• License:
• Abstract: Multi-teacher on-policy distillation (MOPD) aggregates the capabilities of multiple domain-expert teachers into a single student model. However, all domains in MOPD share the student's finite budget of optimization steps and rollouts. Fixed uses constant domain sampling ratios based on corpus sizes; by contrast, D$^3$-MOPD adjusts the ratios using the teacher-student reverse-KL divergence and its recent decrease. However, favoring large recent decreases can direct more training toward domains that already improve quickly, while domains that improve more slowly may receive too few examples. To address inflexible allocation and the risk of giving insufficient training to domains that improve more slowly, we propose Nash-MOPD, an adaptive domain scheduler based on a local minimax game using existing reverse-KL statistics. The equilibrium maximizes the smallest predicted proportional reduction under the local model and gives more prompts to domains that need more examples for comparable improvement. Consequently, Nash-MOPD responds to changing learning progress and supports domains that improve more slowly without extra teacher queries or rollouts. At step 100, Nash-MOPD exceeds both baselines' final mathematics and code checkpoint scores on DeepSeek-R1-Distill-Qwen-1.5B and reaches Fixed's on Qwen3-8B-Base. Furthermore, it leads eight of nine reported metrics and is best or tied best on all six mathematics and code accuracy metrics, respectively.
• Abstract（参考訳）: マルチテラーオンライン蒸留(MOPD)は、複数のドメイン専門家の教師の能力を単一の学生モデルに集約する。 しかし、MOPDのすべてのドメインは、学生の最適化手順とロールアウトの有限予算を共有している。 一方、D$^3$-MOPDは教師による逆KLの発散率と最近の減少率を調節する。 しかし、最近の大幅な減少を好むと、既に改善されているドメインへのトレーニングが加速し、改善が遅いドメインにはサンプルが多すぎる可能性がある。 適応型ドメインスケジューラであるNash-MOPDを提案する。Nash-MOPDは,既存の逆KL統計量を用いたローカルミニマックスゲームに基づく適応型ドメインスケジューラである。 平衡は局所モデルの下で予測される最小の比例還元を最大化し、同等の改善のためにより多くの例を必要とする領域により多くのプロンプトを与える。 その結果、Nash-MOPDは学習の進捗の変化に対応し、追加の教師クエリやロールアウトなしで、よりゆっくりと改善されるドメインをサポートする。 ステップ100では、Nash-MOPDはDeepSeek-R1-Distill-Qwen-1.5Bのベースラインの最終数学とコードチェックポイントスコアを上回り、Qwen3-8BベースでFixed'sに達する。 さらに、9つの報告されたメトリクスのうち8つをリードし、それぞれ6つの数学とコード精度のメトリクスでベストまたはベストに結びついている。

関連論文リスト

• UP-MOPD: Update Projection in Multi-Teacher On-Policy Distillation [21.699455019842816]
  UP-MOPD(Multi-Teacher On-Policy Distillation)の更新計画を提案する。 UP-MOPDは、元の混合勾配を更新し、パラメータにコミットする前に、候補を違反するだけをプロジェクト化する。 訓練後期のIFEval-loose精度をバニラM-OPDよりも2.96ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-06T14:13:31Z)
• Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces [55.31881110525802]
  進化的質問書き直しと自己進化型カリキュラムを組み合わせることで推論を改善するフレームワークであるLadders-of-Thought(LoT)を提案する。 LoTは意味論的に忠実だがより容易な推論問題の変種を自動生成し、ステップベースの測度を用いて難易度バケットに整理し、適応的にトレーニングを割り当てるために自己進化型バンディットスケジューラを使用する。
  論文  参考訳（メタデータ） (2026-09-22T03:54:31Z)
• Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs [13.74158437063828]
  MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。 MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。 Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
  論文  参考訳（メタデータ） (2026-09-02T13:00:45Z)
• Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD [47.82945023225761]
  大規模言語モデルを垂直ドメインに特化することは、推論、コーディング、命令追従、創造的記述といった一般的な能力を低下させる。 我々は,本ドメインの一般トレードオフについて,ドメインと一般教師による独自のサンプルトラジェクトリを専門学生が指導するMOPD(Multi-Teacher On-Policy Distillation)で検討する。 ロールプレイングと医療領域の専門化実験により,標準的なMOPDよりも4.73%,10.84%向上した。
  論文  参考訳（メタデータ） (2026-08-27T07:28:00Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR [59.527728403519745]
  Transfer-Aware Curriculumは、トレーニングスイートの他の部分にとって大きなメリットがあるドメインを優先する。 Qwen3-1.7BとLlama3.2-3Bで最高のマクロ平均精度を達成する。 学習性のみのカリキュラムが支配的なドメインに過剰にコミットされる不均衡なトレーニングミックスでは、依然として堅牢である。
  論文  参考訳（メタデータ） (2026-06-23T21:10:29Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Unsupervised learning of multimodal image registration using domain adaptation with projected Earth Move's discrepancies [8.88841928746097]
  教師なしのドメイン適応は、マルチモーダル登録の現在の制限を克服するのに有益である。 離散マルチモーダル登録における教師なしドメイン適応の最初の利用を提案する。 概念実証は、犬MRIスキャンのモノモダルからマルチコントラスト(Multi-Contrast)2Dへのドメイン転送が適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T15:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。