論文の概要: Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2608.19098v1
- Date: Wed, 19 Aug 2026 16:50:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.465318
- Title: Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
- Title（参考訳）: オープンMOPD:多教師オンポーシィ蒸留における診断と機能不均衡
- Abstract要約: M-OPD(Multi-Teacher on-policy distillation)は、ドメイン特化強化学習の専門家を、密集したトークンレベルの報酬管理を通じて、単一のジェネラリストの学生に統一するための、有望なパラダイムとして登場した。
実際の成功にもかかわらず、マルチ教師機能統合を管理する最適化のダイナミクスはいまだに理解されていない。
トークン共有バランス、ギャップ対応動的予算配分、学生報酬更新を取り入れた原則的フレームワークであるOpen-MOPDを紹介する。
- 参考スコア（独自算出の注目度）: 30.510566982907438
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multi-teacher on-policy distillation (M-OPD) has emerged as a promising paradigm for consolidating domain-specialized reinforcement learning (RL) experts into a single generalist student via dense, token-level reward supervision. Despite its practical success, the optimization dynamics governing multi-teacher capability integration remain poorly understood, and open, rigorously reproducible recipes are conspicuously lacking. In this work, we establish a controlled M-OPD benchmark on SmolLM3-3B-Base with oracle routing, isolating capability integration from routing ambiguity. Our investigation reveals a pronounced capability integration gap: standard M-OPD captures only 35.6% of the available headroom relative to a domain-routed oracle ensemble, with concise tasks such as instruction following suffering severe degradation and premature stagnation. Crucially, we show that this failure stems not from gradient conflict, but from a severe misallocation of the token-level optimization budget. This pathology is driven by three orthogonal factors: structural sequence-length disparities across domains, dynamic convergence drift due to non-uniform learning rates, and multi-step reward staleness from asynchronous policy updates. To resolve these imbalances, we introduce Open-MOPD, a principled framework incorporating token-share balancing, gap-aware dynamic budget allocation, and student reward refresh. Together, these mechanisms systematically restore cross-domain balance, elevating headroom recovery from 35.6% to 83.4% in a single deployable student. We fully open-source our end-to-end post-training recipe, training trajectories, and evaluation suites on an academically accessible hardware budget.
- Abstract（参考訳）: M-OPD(Multi-Teacher on-policy distillation)は、ドメイン特化強化学習(RL)の専門家を、密集したトークンレベルの報酬管理を通じて、単一のジェネラリストの学生に統一するための、有望なパラダイムとして登場した。
その実践的な成功にもかかわらず、マルチ教師能力の統合を管理する最適化のダイナミクスは理解しづらいままであり、オープンかつ厳密に再現可能なレシピは目立って欠落している。
本研究では,SmolLM3-3B-Base上の制御型M-OPDベンチマークを構築した。
標準的なM-OPDは, 難分解性, 早期停滞による指示などの簡潔なタスクを伴って, 利用可能な頭部の35.6%しか捉えていない。
重要なことは、この失敗は勾配の矛盾ではなく、トークンレベルの最適化予算の過酷な不正配置によるものであることが示される。
この病理学は3つの直交的要因によって駆動される:ドメイン間の構造的配列長の相違、非一様学習率による動的収束ドリフト、非同期ポリシー更新による多段階の報酬安定化である。
これらの不均衡を解決するために,トークン共有バランス,ギャップ対応動的予算配分,学生報酬更新を取り入れた原則的フレームワークであるOpen-MOPDを導入する。
これらのメカニズムは、クロスドメインバランスを体系的に復元し、単一のデプロイ可能な学生で35.6%から83.4%に回復する。
私たちは、学術的にアクセス可能なハードウェア予算に基づいて、エンドツーエンドのポストトレーニングレシピ、トレーニングトラジェクトリ、評価スイートを完全にオープンソースにしています。
関連論文リスト
- Reputation-driven Cooperation in Lattice-based Decentralized Federated Learning through Evolutionary Game Theory [0.3572141827285953]
本稿では,戦略的進化の分析とシステム全体の性能向上を目的とした新しいEGTフレームワークを提案する。
我々は、有界有理性の仮定の下で格子ネットワーク構造上のピアツーピア(P2P)相互作用をモデル化する。
評価に基づく報奨・報奨機構を統合して,フリーライディングの行動を効果的に抑制する。
論文 参考訳（メタデータ） (2026-08-02T12:23:45Z) - Sampling-Based Coordination-Informed Multi-Objective Multi-Robot Reinforcement Learning [16.418881902763502]
マルチロボットシステムは協調動作を維持しながら競合する目的を同時に最適化する必要がある。
本稿では,CIMORL(Coordination-Informed Multi-Objective Reinforcement Learning)フレームワークを紹介する。
本稿では, CIMORL-TS (Tree Search) と CIMORL-MPPI (MPPI) の2つのサンプリングベース変種とともに, CIMORL法について述べる。
論文 参考訳（メタデータ） (2026-06-29T20:31:03Z) - Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy [27.237699512463475]
強化学習は予測不可能なサブ最適パフォーマンスやトレーニング崩壊に悩まされることが多い。
適切な学習信号が与えられた場合,学習方針は,その相違点を積極的に自己修正できることがわかった。
本稿では,この問題をDCMDP(Disdisrepancy-Constrained Markov Decision Process)として定式化する。
論文 参考訳（メタデータ） (2026-06-07T18:49:33Z) - Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。
このことは、逆KL最小化のモード探索行動に由来することを示す。
KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
論文 参考訳（メタデータ） (2026-05-19T07:13:00Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates [1.9650181409005112]
BALMはモデルに依存しないプラグインフレームワークであり、IMRの下でバランスの取れたマルチモーダル学習を実現する。
BALMはロバスト性を継続的に向上し,多様な不足および不均衡条件下での性能向上を図っている。
論文 参考訳（メタデータ） (2026-03-20T07:47:09Z) - Training LLMs for Divide-and-Conquer Reasoning Elevates Test-Time Scalability [129.1296673737603]
大規模言語モデル(LLM)は、ステップ・バイ・ステップ・チェーン・オブ・シークレット(CoT)推論を通じて強力な推論能力を示している。
潜在的には、解のより効率的な探索を容易にするために複雑な問題をサブプロブレムに分解するDAC推論がある。
本稿では,DAC型推論能力を高めるために,エンドツーエンド強化学習(RL)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-02T18:54:54Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳（メタデータ） (2025-11-20T04:11:44Z) - Hierarchical Budget Policy Optimization for Adaptive Reasoning [49.621779447691665]
階層的予算政策最適化(Hierarchical Budget Policy Optimization, HBPO)は、モデルが問題固有の推論深度を犠牲にすることなく学習できる強化学習フレームワークである。
HBPOは、探索空間を予算制約付き階層(512-2560トークン)に分割する。
大規模な実験により、HBPOは平均トークン使用量を最大60.6%削減し、4つの推論ベンチマークで精度を3.14%改善した。
論文 参考訳（メタデータ） (2025-07-21T17:52:34Z) - On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。
広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。
そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文 参考訳（メタデータ） (2024-10-15T13:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。