論文の概要: MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2606.30406v1
• Date: Mon, 29 Jun 2026 14:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.290542
• Title: MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training
• Title（参考訳）: MOPD:LLM後試験における多教師オンポーティ蒸留による機能統合
• Abstract要約: Multi-Teacher On-Policy Distillation (MOPD)は、複数のドメインRL教師の能力を組み合わせるためのポストトレーニングパラダイムである。 Qwen3-30B-A3Bでは、MOPDはMix-RL、Cascade RL、Off-Policy Finetune、Param-Mergeベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 29.71786876690702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、訓練後、特定の能力をプッシュするために強化学習に依存していますが、複数の機能をひとつのモデルに統合することは難しいままです。 Off-Policy FinetuneやMix-RLといった既存の手法は、非効率か性能を失うかのいずれかである。 本研究では,複数のドメインRL教師の能力を組み合わせるためのポストトレーニングパラダイムであるMOPD(Multi-Teacher On-Policy Distillation)を提案する。 これにより露光バイアスを排除し、密度の高い最適化信号を提供する。 Qwen3-30B-A3Bでは、MOPDはMix-RL、Cascade RL、Off-Policy Finetune、Param-Mergeベースラインを上回り、各教師のほぼすべての能力を継承している。 MOPDはまた、ドメイン教師の並列かつ独立した開発を可能にし、マルチドメインポストトレーニングの典型的なクロスドメイン結合を取り除く。 MOPD は産業規模のフロンティアモデル MiMo-V2-Flash の訓練後,フロンティアスケール LLM における能力統合の実用的価値を実証した。

関連論文リスト

• Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs [13.74158437063828]
  MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。 MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。 Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
  論文  参考訳（メタデータ） (2026-09-02T13:00:45Z)
• Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
  再利用した人工物によって3つの融合パラダイムを編成する。 モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
  論文  参考訳（メタデータ） (2026-08-27T17:38:04Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• Weak-to-Strong On-Policy Distillation [21.651421588571296]
  Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。 4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
  論文  参考訳（メタデータ） (2026-07-28T20:31:48Z)
• D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models [27.90064267850009]
  ステップ蒸留拡散モデルのための新しい訓練パラダイムであるD-OPSDを提案する。 D-OPSDにより、モデルは元の数ステップのキャパシティを犠牲にすることなく、新しい概念、スタイルなどを学ぶことができる。
  論文  参考訳（メタデータ） (2026-05-06T17:59:34Z)
• MOA: Multi-Objective Alignment for Role-Playing Agents [68.67837397211903]
  汎用RPAのための多次元きめ細かなルーリック最適化を実現するための強化学習フレームワークMOAを提案する。 モデルアウトプットの多様性と品質の問題に対処するために、我々は、非政治ガイダンスによる思考強化されたロールアウトも導入している。 このことは、ロール知識、ペルソナスタイル、多様なシナリオ、複雑なマルチターン会話の要求を同時に満たすことができるRPAの構築におけるMOAの大きな可能性を示しています。
  論文  参考訳（メタデータ） (2025-12-10T15:35:11Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning [54.73049408950049]
  モーダリティ適応型学習を伴う効率的な統一マルチモーダル検索のための階層型言語モデルを提案する。 本手法は,構造的,学習的両面からの統合的マルチモーダル検索を改善する。
  論文  参考訳（メタデータ） (2025-07-10T16:47:25Z)
• MAPoRL: Multi-Agent Post-Co-Training for Collaborative Large Language Models with Reinforcement Learning [26.736078756799635]
  新しいポストトレーニングパラダイムMAPoRL(強化学習を用いた協調LLMのためのマルチエージェントポストトレーニング)を導入する。 MAPoRLでは、複数のLLMが独立して独自の応答を生成し、最終回答を協調的に改善するためのマルチターンディスカッションを行う。 MAPoRL検証器は、回答の正しさを検証するスコアを割り当てることで、回答と議論の両方を評価する。 スコアはコトレーニング報酬として機能し、マルチエージェントRLによって最大化される。
  論文  参考訳（メタデータ） (2025-02-25T18:33:48Z)
• MoDULA: Mixture of Domain-Specific and Universal LoRA for Multi-Task Learning [17.960185808572582]
  MoDULAはマルチタスク学習における微調整とパラメータ効率の改善のためのパラダイムである。 MoDULA-ResはMoDULAパラダイム内の新しい手法であり、普遍的な専門家とタスク固有の専門家を結びつけることによって、モデルの一般的な能力を維持する。
  論文  参考訳（メタデータ） (2024-12-10T10:55:57Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。