論文の概要: Muon Can Outperform Dedicated Continual Learning Methods

• arxiv url: http://arxiv.org/abs/2609.24678v1
• Date: Mon, 21 Sep 2026 14:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.329543
• Title: Muon Can Outperform Dedicated Continual Learning Methods
• Title（参考訳）: Muon は定型連続学習法より優れている
• Abstract要約: インクリメンタルなLoRA (IncLoRA) を Muon でトレーニングします。 O-LoRA と ELLA を比較し,標準 CL ベンチマークで5つのシードと3つのタスクオーダを比較した。 IncLoRA+Muon は Standard CL の専用メソッドに到達し、TRACE 上のすべての AdamW 構成を改善する。
• 参考スコア（独自算出の注目度）: 0.863301363716006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning with Low-Rank Adapters (LoRA) typically mitigates forgetting by penalizing the overlap between a new update and the accumulated past weights, which discourages certain update directions without controlling how an update distributes its energy over the ones that remain. We ask whether that restriction has to be task-aware, or whether a generic one supplied by the optimizer is enough. We train a plain incremental LoRA (IncLoRA) with Muon, which orthogonalizes each update, and compare it against O-LoRA and ELLA over five seeds and three task orders on the Standard CL Benchmark and three seeds on TRACE. IncLoRA+Muon reaches the accuracy band of the dedicated methods on Standard CL and improves on every AdamW configuration on TRACE. One update-constraining mechanism is enough, whether it comes from the loss or from the optimizer; on Standard CL a second one does not help, and for the most restrictive method it costs 8.4 points of accuracy and the plasticity to fit each task. What separates the two optimizers is not the size of the update, which under Muon is 0.91 to 2.06 times that under AdamW, but how it is distributed. AdamW confines it to between 1.4 and 1.8 effective singular directions, Muon spreads it over 7.0, and the two do not overlap in any tracked run. Part of the advantage usually attributed to dedicated CL methods may therefore be explained by the geometry of the optimizer's updates.
• Abstract（参考訳）: Low-Rank Adapters (LoRA)による継続的な学習は、新しい更新と蓄積した過去の重み付けの重なりをペナルティ化することで忘れを省くのが一般的である。 我々は、その制限がタスク対応である必要があるのか、それともオプティマイザによって提供されるジェネリックな制限が十分かどうかを問う。 インクリメンタルなLoRA(IncLoRA)をMuonでトレーニングし、O-LoRAとELLAを5つの種で比較し、標準CLベンチマークでは3つのタスクオーダとTRACEでは3つの種で比較する。 IncLoRA+Muon は Standard CL の専用メソッドの精度帯に到達し、TRACE 上のすべての AdamW 構成を改善する。 1つの更新制限機構は、損失からでもオプティマイザからでも十分であり、Standard CLでは2回目は役に立たない。 2つのオプティマイザを分離しているのは、更新のサイズではなく、MuonではAdamWの0.91から2.06倍、分散する方法である。 AdamWは1.4から1.8の有効特異方向に閉じ込め、Muonは7.0に広げる。 したがって、専用のCLメソッドに起因する利点の一部は、オプティマイザの更新の幾何学によって説明できる。

関連論文リスト

• Optimizers for Diffusion Models: A Controlled Benchmark [75.49404880689772]
  4つの拡散定式化にまたがる制御されたベンチマークを示す。 全ての勝者は3つの種で全予算で再訓練される。 Muon、MARS-M、SOAPはそれぞれ、少なくとも1つの拡散定式化で調整されたAdamWを破った。
  論文  参考訳（メタデータ） (2026-09-19T14:41:28Z)
• PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer [15.584731292085126]
  低ランク適応(LoRA)は、2つの行列の積としてパラメータ化されるトレーニング可能な低ランク更新を各重み行列に追加することにより、大きな言語モデルを微調整する。 PoLoRAは、製品対応更新方向、サンプル単位の損失変化を制御するプリコンディショニング、要素のサイズとマージした更新の両方を制御するマグニチュードルールの3つの要素で構成されている。 我々は1Bから8Bパラメータのデータセットの命令チューニングにおいてPoLoRAを評価し、調律されたAdamが達成した最後のホールトアウト損失を1.2-1.7倍のステップで達成することを発見した。
  論文  参考訳（メタデータ） (2026-07-20T07:16:31Z)
• LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold [13.757351633281836]
  Low-Rank Adaptation (LoRA)は、ディープラーニングモデルを微調整する際の計算コストとメモリコストを大幅に削減する。 我々は,LoRA-Muonを,Muonの急勾配規則を低ランク設定に適用することによって導出した。
  論文  参考訳（メタデータ） (2026-06-11T05:24:45Z)
• Can Muon Fine-tune Adam-Pretrained Models? [0.5735035463793009]
  ほとんどのオープンモデルはAdamで事前訓練されており、微調整のためにミュオンに鼻で切り替えると、ミスマッチによって性能が劣化する。 我々は、ミスマッチが事前訓練された知識を妨害し、この破壊が更新強度とともにスケールする証拠を提供する。 LoRAは、言語やビジョンタスク全体にわたって、完全な微調整の下で観察されるAdamとMuonのパフォーマンスギャップを減らします。
  論文  参考訳（メタデータ） (2026-05-11T12:34:20Z)
• Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
  Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。 Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。 LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-29T02:58:19Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning [5.980897761790243]
  フル微調整のように振る舞う新しいローランク適応法であるLoFTを紹介する。 LoFTはモデルの内部のダイナミクスを、すべてのモデルの重みを更新するものと整合させる。 実験的に、このアプローチはアダプタベースのチューニングとフル微調整の間のパフォーマンスギャップを著しく狭める。
  論文  参考訳（メタデータ） (2025-05-27T14:54:24Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information [3.6859322366469933]
  ReLoRAやGaLoreのような手法は、低ランクのサブスペースを更新することでこの問題に対処しようとしている。 本稿では,LoRAのトレーニング可能なパラメータを代替パラメータに頻繁にスムーズに置き換える,パラメータ効率のトレーニング手法であるSwitchLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T05:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。