論文の概要: When Muon Meets Task Interference: A Spectral Perspective on Continual Learning and Model Merging

• arxiv url: http://arxiv.org/abs/2608.27518v1
• Date: Thu, 27 Aug 2026 10:56:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.096815
• Title: When Muon Meets Task Interference: A Spectral Perspective on Continual Learning and Model Merging
• Title（参考訳）: Muonがタスク干渉に出会ったとき--継続的学習とモデルマージのスペクトル的展望
• Abstract要約: 2つの困難は、実際には同じ現象の2つの事例であることを示す。 あるタスクに有用なパラメータの更新は、モデルの出力を別のタスクにシフトさせる。 建設によってこの因子を調節するメカニズムとして,最近のMuonを同定する。
• 参考スコア（独自算出の注目度）: 32.67767249149513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) and model merging (MM) both aim to obtain a single model that performs well across multiple tasks, challenged respectively by catastrophic forgetting and weight-disentanglement error. In the literature, these difficulties are merely treated separately and mitigated through a variety of solutions, while the geometry induced by the base optimizer is treated as an implementation detail. In this work, we show that the two difficulties are in fact two instances of the same phenomenon: a parameter update useful for one task shifts the model's outputs on another. We formalize this shared phenomenon as \textit{task interference} and reduce it to a common layer-wise Frobenius inner product $\langle ΔW_\ell, J_\ell(x)\rangle_F$. This quantity, in turn, is utilized to expose the role of the optimizer. We theoretically derive an upper bound that isolates the spectral norm $\|ΔW_\ell\|_2$ as an optimizer-controllable factor of task interference, and a per-mode analysis shows that this bound tracks the dominant part of the empirical interference. Specifically, we then identify the recent Muon optimizer as a mechanism that regulates this factor by construction. Our work reveals that its elegant control on spectral norm tightens the interference bound for both CL and MM, positioning Muon as a principled optimizer-centric approach complementary to existing solutions. Our theoretcal analysis is well validated by experimental results. Replacing the AdamW optimizer with Muon improves accuracy by up to +5.02 points on the eight-task model-merging benchmark across three CLIP backbones. For continual learning, Muon also delivers uniformly positive gains across ten class-incremental protocols, three task-incremental protocols, and the 11-task MTIL benchmark.
• Abstract（参考訳）: 連続学習 (CL) とモデルマージング (MM) は、それぞれが破滅的な忘れ込みと重み付け誤差によって挑戦される、複数のタスクでうまく機能する単一モデルを得ることを目的としている。 文献では、これらの困難は個別に扱われ、様々な解によって緩和されるのに対し、ベースオプティマイザによって誘導される幾何は実装の詳細として扱われる。 本稿では,この2つの課題が,実際に同じ現象の2つの事例であることを示す。 この共有現象を「textit{task interference}」として定式化し、共通層的なフロベニウス内積 $\langle ΔW_\ell, J_\ell(x)\rangle_F$ に還元する。 この量は、オプティマイザの役割を明らかにするために使用される。 理論的には、スペクトルノルム $\|ΔW_\ell\|_2$ をタスク干渉の最適化可能因子として分離する上限を導出する。 具体的には、最近のMuonオプティマイザを、構築によってこの因子を調節するメカニズムとして特定する。 我々の研究は、スペクトルノルムに対するエレガントな制御がCLとMMの両方の干渉境界を締め付け、Muonを既存のソリューションと相補的な原理化された最適化中心のアプローチとして位置づけていることを明らかにしている。 我々の理論分析は実験結果によってよく検証されている。 AdamWオプティマイザをMuonに置き換えると、CLIPの3つのバックボーンにまたがる8タスクモデルマージベンチマークにおいて、最大5.02ポイントの精度が向上する。 継続的な学習のために、Muonは10のクラスインクリメンタルプロトコル、3つのタスクインクリメンタルプロトコル、11のタスクMTILベンチマークで一様正のゲインを提供する。

関連論文リスト

• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• MTL-FNO: A Lightweight Multi-Task Fourier Neural Operator for Sparse Field Reconstruction [15.401658861451809]
  マルチタスクフーリエニューラルオペレータ(MTL-FNO)は、ハードパラメータ共有に基づくエンドツーエンドのジョイントトレーニングフレームワークである。 MTL-FNOは標準FNOに匹敵する精度を達成し、全体のモデルサイズを76%と60%削減した。 その結果,MTL-FNOは標準FNOに匹敵する精度を達成し,総モデルサイズを76%,FNOを60%削減した。
  論文  参考訳（メタデータ） (2026-05-26T08:57:31Z)
• Optimizer-Induced Mode Connectivity: From AdamW to Muon [50.258866851760416]
  我々は、Lion-$mathcalK$ファミリー内の1つのAdamW、Muon、その他からの解が、十分に大きな幅で連結集合を形成することを示す。 広帯域では2つの異なる領域が正則化に応じて解離または重なり合うことができる。
  論文  参考訳（メタデータ） (2026-05-11T05:07:36Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [14.503741632243646]
  マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。 既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。 本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
  論文  参考訳（メタデータ） (2025-05-29T08:11:31Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
  モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。 本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。 このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
  論文  参考訳（メタデータ） (2024-10-18T11:49:40Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• A conditional one-output likelihood formulation for multitask Gaussian processes [0.0]
  マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。 本稿では,マルチタスク学習を簡略化する新しい手法を提案する。 現状の美術品と計算的に競合していることが示される。
  論文  参考訳（メタデータ） (2020-06-05T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。