論文の概要: Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

• arxiv url: http://arxiv.org/abs/2605.08949v2
• Date: Thu, 14 May 2026 22:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 03:45:13.087995
• Title: Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning
• Title（参考訳）: Muon-OGD:LLM連続学習のためのMuon-based Spectral Orthogonal Gradient Projection
• Authors: Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li,
• Abstract要約: スペクトルノルムを意識した連続学習フレームワークであるMuon-OGDを提案する。 提案手法を標準連続学習ベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 15.604900995606451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in continual learning for large language models (LLMs) is catastrophic forgetting, where adapting to new tasks can substantially degrade performance on previously learned ones. Existing projection-based methods mitigate such interference by restricting parameter updates to subspaces that are orthogonal to directions associated with past tasks. However, these methods are typically formulated under Euclidean parameter geometry, with update magnitudes and projections governed by the Frobenius norm. The recent empirical success of the Muon optimizer, which applies orthogonalized matrix updates and admits a spectral-norm interpretation, suggests that Frobenius geometry may not be the most effective choice for matrix-valued LLM parameters. Motivated by this observation, we propose Muon-OGD, a spectral-norm-aware continual learning framework that integrates Muon-style operator-norm geometry with orthogonal projection constraints. Our method formulates each update as a spectral-norm-constrained optimization problem with linear non-interference constraints, and solves it efficiently through dual iterations and Newton--Schulz matrix-sign approximations. By applying orthogonalized momentum updates that avoid protected directions associated with prior tasks, Muon-OGD aims to improve the stability--plasticity trade-off in sequential LLM adaptation. We evaluate the proposed method on standard continual learning benchmarks, TRACE, and domain-specific Coding--Math--Medical curricula using both encoder--decoder and decoder-only architectures. Empirically, Muon-OGD consistently improves over sequential fine-tuning and competitive orthogonal-gradient baselines, while remaining computationally scalable. These results suggest that spectral-norm-aware update geometry provides a practical and effective alternative to Frobenius-norm projection for continual learning in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の継続的な学習における中心的な課題は破滅的な忘れである。 既存のプロジェクションベースの手法は、過去のタスクに関連する方向と直交する部分空間へのパラメータ更新を制限することで、そのような干渉を緩和する。 しかしながら、これらの手法は典型的にはユークリッドのパラメータ幾何の下で定式化され、更新等級とフロベニウスノルムによって支配される射影を持つ。 直交行列の更新を適用し、スペクトルノルムの解釈を許容する最近のミュオン最適化の実証的な成功は、フロベニウス幾何学が行列値 LLM パラメータにとって最も効果的な選択ではないことを示唆している。 本研究は,Muon-OGDを提案する。これは,Muon-style operator-norm geometryを直交射影制約と統合したスペクトルノルム対応連続学習フレームワークである。 提案手法は,スペクトルノルム制約付き最適化問題として線形非干渉制約を用いて各更新を定式化し,二重反復とニュートン-シュルツ行列-符号近似を用いて効率よく解く。 先行タスクに関連する保護方向を回避する直交運動量更新を適用することで, 連続LLM適応における安定性-塑性トレードオフを改善することを目指す。 提案手法は,Encoder-decoderとdecoder-onlyアーキテクチャの両方を用いて,標準連続学習ベンチマーク,TRACE,ドメイン固有符号化(Math-Medical curricula)について評価する。 実証的には、Muon-OGDは連続的な微調整と競合する直交勾配ベースラインよりも一貫して改善するが、計算能力は高い。 これらの結果は、スペクトルノルム対応更新幾何が、LLMにおける連続学習のためのフロベニウスノルム投影の実用的で効果的な代替手段となることを示唆している。

関連論文リスト

• Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints [3.421126849736858]
  核ノルム制約を通した低階構造を強制するために設計された幾何認識幾何学であるNucGDを紹介する。 スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。 我々は、最小バッチサンプリングと運動量によって誘導される勾配ノイズの変動レベルが、期待される最大マージン解に対する収束をどう変調するかを特徴付ける、勾配最適化のダイナミクスの影響を実験的に分析する。
  論文  参考訳（メタデータ） (2026-03-24T05:51:50Z)
• Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning [10.647088281181222]
  SpecMuonは、物理インフォームドラーニングのためのスペクトル対応多モード勾配流である。 これは、ムオンのスケールバランス特性を保ちながら、グローバルな損失エネルギーに応じてステップサイズを規制する。 アダム・アダムWよりも早く収束し、安定性を向上させる。
  論文  参考訳（メタデータ） (2026-02-18T03:56:20Z)
• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。