論文の概要: PMOPD: Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.34605v1
• Date: Mon, 28 Sep 2026 08:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:59:56.456528
• Title: PMOPD: Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation
• Title（参考訳）: PMOPD:マルチ教師オンポリティー蒸留におけるタスクオーダリング,サイクリング,パラメータ更新サブスペース保護
• Abstract要約: マルチテラーオンライン蒸留(MOPD)は、フロンティア言語モデルに特殊機能を統合するための訓練後パラダイムとして人気がある。 OPDの特異な更新幾何学から着想を得た結果,MOPD中の各低次元部分空間に,異なるタスクからのパラメータ更新が急速に集中していることが判明した。 本研究では,異なるタスクの累積パラメータ変位から部分空間記憶を構成する PMOPD を提案する。
• 参考スコア（独自算出の注目度）: 29.45507033438477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) has emerged as a popular post-training paradigm for integrating specialized capabilities in frontier language models. Existing OPD research has primarily focused on optimizing single-task distillation through objective design, distillation scope, and teacher signal construction, whereas MOPD must aggregate multiple capabilities in shared parameters and address the resulting capability seesaw, in which improving one domain suppresses capabilities acquired from another. Inspired by the distinctive update geometry of OPD, we find that parameter updates from different tasks rapidly concentrate in their respective low-dimensional subspaces during MOPD, providing a direct geometric basis for identifying and controlling cross-task interference. We therefore propose PMOPD (Projection-based Multi-Teacher On-Policy Distillation), which constructs subspace memories from the cumulative parameter displacements of different tasks and projects both gradients and optimizer updates to remove components that interfere with protected task directions. We further develop a lightweight conflict probe to characterize task interactions and guide task ordering, together with a cycling strategy that balances subspace estimation and timely task revisitation. Experiments on representative Code, Reason, and Math tasks show that PMOPD improves every evaluated capability over MOPD, raising the average score across the three tasks by 2.54 points on Qwen2.5-7B and 2.09 points on Llama-3.1-8B. These consistent gains establish geometry-aware optimization as an effective and transferable approach to balanced multi-teacher distillation.
• Abstract（参考訳）: マルチテラーオンライン蒸留(MOPD)は、フロンティア言語モデルに特殊機能を統合するための訓練後パラダイムとして人気がある。 既存のPD研究は、客観的設計、蒸留スコープ、教師信号構築による単一タスク蒸留の最適化に重点を置いているが、MOPDは共有パラメータに複数の機能を集約し、結果の能力シーソーに対処しなければならない。 OPDの特異な更新幾何学から着想を得た結果,MOPD中の各低次元部分空間に異なるタスクからのパラメータ更新が急速に集中し,クロスタスク干渉の同定と制御のための直接的な幾何学的基礎を提供することがわかった。 そこで,PMOPD(Projection-based Multi-Teacher On-Policy Distillation)を提案し,各タスクの累積パラメータ変位からサブスペースメモリを構築する。 さらに,タスクのインタラクションを特徴付ける軽量コンフリクトプローブと,サブスペース推定とタイムリーなタスク修正のバランスをとるサイクリング戦略を開発した。 代表的コード、Reason、Mathタスクの実験では、PMOPDはMOPDよりも評価されたすべての能力を改善し、Qwen2.5-7Bでは平均スコアを2.54ポイント、Llama-3.1-8Bでは2.09ポイント引き上げている。 これらの一貫した利得は、バランスの取れたマルチティーチンガー蒸留に対する効果的かつ伝達可能なアプローチとして幾何認識最適化を確立する。

関連論文リスト

• Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
  タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。 残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。 ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。 ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
  論文  参考訳（メタデータ） (2026-06-17T15:07:11Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。