論文の概要: LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold

• arxiv url: http://arxiv.org/abs/2606.12921v1
• Date: Thu, 11 Jun 2026 05:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.601005
• Title: LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold
• Title（参考訳）: LoRA-Muon:低ランクマニフォールド上でのスペクトルステアプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプテプ
• Authors: Franz Louis Cesista, Katherine Crowson, Cédric Simal, Stella Biderman,
• Abstract要約: Low-Rank Adaptation (LoRA)は、ディープラーニングモデルを微調整する際の計算コストとメモリコストを大幅に削減する。 我々は,LoRA-Muonを,Muonの急勾配規則を低ランク設定に適用することによって導出した。
• 参考スコア（独自算出の注目度）: 13.757351633281836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) significantly reduces compute and memory costs for finetuning Deep Learning models but is often harder to tune than dense training: when using factor-wise optimizers such as AdamW, it is sensitive to initialization choices, its optimal learning rates transfer poorly across ranks, and it often fails to beat dense baselines. We derive LoRA-Muon by applying the Muon optimizer's spectral steepest-descent rule to the low-rank setting. Along with our split weight-decay rule, our main claim is that LoRA-Muon is a good low-rank proxy for full-rank Muon and Shampoo-family optimizers. Its optimal learning rates transfer across rank, width, depth, and factor-rescaling. In our compute-matched TinyShakespeare study, a rank-$2$ proxy recovers the dense best tested learning rate, and a rank-$32$ LoRA-Muon run attains lower mean validation loss than the dense baseline in the seed-averaged sweep. We further show that the Spectron optimizer depends on arbitrary factor scaling, so it would likely be a poor fit when finetuning starts from badly imbalanced factors, and that LoRA-RITE's simplified QR-coordinate core implements the same spectral update. LoRA-Muon computes that update without QR-decomposition and avoids storing second moments, making it more accelerator-friendly and memory-efficient.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、ディープラーニングモデルを微調整する際の計算とメモリコストを大幅に削減するが、密度の高いトレーニングよりもチューニングが難しい場合が多い。 我々は,Moonオプティマイザのスペクトル急勾配規則を低ランク設定に適用することにより,LoRA-Muonを導出する。 ウェイトデカイルールの分割とともに、LoRA-MuonはフルランクのMuonとShmpooファミリーオプティマイザにとって優れたローランクプロキシであると主張する。 その最適な学習速度は、ランク、幅、深さ、因子再スケーリングにまたがる。 計算マッチングによるTinyShakespeare研究では,2ドル(約2,200円)のプロキシが最密なテスト学習率を回復し,32ドル(約2,300円)のLoRA-Muonランが,平均的なスイープの高密度ベースラインよりも低い平均バリデーション損失を達成している。 さらに、Spectronオプティマイザは任意の因子のスケーリングに依存するため、微調整が不均衡な要素から始まると不適合になる可能性があり、LoRA-RITEの単純化されたQR座標コアは、同じスペクトル更新を実装している。 LoRA-Muonはその更新をQR分割なしで計算し、第2モーメントの保存を回避し、アクセルフレンドリーでメモリ効率が向上する。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA Learns Less and Forgets Less [25.09261710396838]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整法である。 プログラムと数学の2つの対象領域におけるLoRAの性能と完全な微調整を比較した。
  論文  参考訳（メタデータ） (2024-05-15T19:27:45Z)
• PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization [39.30090456724925]
  監視された微調整は、下流タスクに大規模言語モデル(LLM)を適用する最も一般的な方法である。 完全な微調整には膨大な計算資源が必要である。 LoRAは最も広く使われている手法の1つであり、最適化過程は本質的に低次元であると仮定する。
  論文  参考訳（メタデータ） (2024-02-25T16:43:41Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA [0.7252027234425334]
  PEFTの一般的な手法はLoRA(Lo-Rank Adapters)であり、選択した層にトレーニング可能な低ランクの"アダプタ"を追加する。 このスケーリング係数は、アダプタをランクの要素で分割するので、ローラの学習が遅くなり、上位のアダプタでスタントのパフォーマンスが低下する。 我々はLoRAを適切なスケーリング係数で修正し、微調整の計算/性能トレードオフを容易に提供します。
  論文  参考訳（メタデータ） (2023-11-28T03:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。