論文の概要: Approximate Muon with low-rank adapters

• arxiv url: http://arxiv.org/abs/2608.14492v1
• Date: Fri, 14 Aug 2026 17:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.449322
• Title: Approximate Muon with low-rank adapters
• Title（参考訳）: 低ランクアダプタを用いた近似ミューオン
• Abstract要約: Muonはニューラルネットワークを事前トレーニングする際の選択肢に対して明確なメリットを示している。 しかし、パラメータ効率のよい微調整にはあまり使われない。 低ランクな微調整にMuonを使用することで、パフォーマンスが適度に向上することを示す。
• 参考スコア（独自算出の注目度）: 7.692230106198559
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The Muon optimizer shows clear benefits versus alternatives when pretraining neural networks. However, it is used less frequently for parameter-efficient fine-tuning (PEFT). One potential reason is that the most common PEFT method, LoRA, does not naturally combine with Muon since it is not mathematically possible to orthogonalize the weight update given by a low-rank parameterization. In this paper, we address this issue by approximating the solution to a relaxed Muon objective in the low-rank setting via linearization and then least-squares. We provide an efficient implementation that uses matmul operations only, as opposed to more complex linear algebra decomposition routines. Our method, sMuon (small Muon), performs favourably across SFT and a ReLoRA pretraining experiment. While results are model- and eval-dependent, we find overall that using Muon for low-rank fine-tuning provides moderate performance improvements.
• Abstract（参考訳）: Muonオプティマイザは、ニューラルネットワークを事前トレーニングする際の選択肢に対して明確なメリットを示している。 しかし、パラメータ効率のよい微調整(PEFT)では使用頻度が低い。 1つの潜在的な理由は、最も一般的なPEFT法であるLoRAが、低ランクパラメータ化によって与えられる重み更新を数学的に直交できないため、自然にMuonと結合しないことである。 本稿では、線形化および最小二乗化による低ランク設定において、緩和されたムオンの目的に対する解を近似することでこの問題に対処する。 より複雑な線形代数分解ルーチンとは対照的に、行列演算のみを使用する効率的な実装を提供する。 提案手法であるsMuon(小ミューオン)は,SFTとReLoRA事前学習実験で良好に機能する。 結果がモデルとevalに依存しているのに対して、Muonを低ランクの微調整に使用するとパフォーマンスが適度に向上することがわかった。

関連論文リスト

• MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models [45.11415579822849]
  アルゴリズムの安定性と数学的帰納率に基づくMuonの一般化誤差について検討する。 そこで我々は,Muonと運動量に基づくSGDのハイブリッドである勾配を用いて,有効混合Muon(MiMuon)を提案する。 我々のMiMuonアルゴリズムは、Muonアルゴリズムと同じコンバージェンスレートが$O(frac1NTbig)$である。
  論文  参考訳（メタデータ） (2026-05-19T09:56:27Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters [16.624341041698013]
  Muonはおそらく、トレーニング速度が優れているため、最も人気がある。 本稿では、このスピードアップを駆動するメカニズムから生じる潜在的な欠点について検討する。 Muonはタスク間の共通基盤構造を明らかにするのに苦労しており、刺激的な特徴に適合する傾向にある。
  論文  参考訳（メタデータ） (2026-02-28T17:37:15Z)
• MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation [60.1890607252082]
  MuonRecは、提案されたMuonイテレーションをRecSysトレーニングに導入する最初のフレームワークである。 我々は、レコメンデーションモデルのためのオープンソースのトレーニングレシピを開発し、従来のシーケンシャルなレコメンデーションモデルと近代的なジェネレーティブなレコメンデーションモデルの両方で評価する。
  論文  参考訳（メタデータ） (2026-02-28T02:32:44Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• FedMuon: Federated Learning with Bias-corrected LMO-based Optimization [36.00641661700195]
  我々は,ミュオンがフェデレートラーニングにどのように活用できるかを考察した。 我々はFedMuonが最先端のフェデレーション学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-30T14:45:12Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。