論文の概要: Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon

• arxiv url: http://arxiv.org/abs/2610.19844v1
• Date: Wed, 14 Oct 2026 09:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.065555
• Title: Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
• Title（参考訳）: 残差補正によるメモリ効率の良い部分空間最適化:Momentum SGD から Muon へ
• Abstract要約: LLMトレーニングのメモリコストを削減するために,メモリ効率の低いサブスペース最適化が実用化されている。 以前のアルゴリズムは勾配の先頭の特異部分空間に依存していたが、ノイズ勾配は後の訓練段階において部分空間を支配している可能性がある。 我々は、部分空間の状態を維持し、パラメータ更新に残留勾配を追加する残差補正フレームワークを採用する。 我々は、固定正則基底に対して$O(T-1/4)$収束率を得るSMRCを開発し、フルスペース運動量SGDと一致する。
• 参考スコア（独自算出の注目度）: 20.86753983674817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-efficient subspace optimization has emerged as a practical approach to reducing the memory cost of LLM training while preserving optimization performance. Previous algorithms typically rely on the leading singular subspace of stochastic gradients, yet the gradient noise may dominate the subspace in later training stages and can prevent convergence. To overcome this limitation, we adopt a residual correction framework, which maintains the optimizer states in the subspace and adds the orthogonal residual gradient to the parameter update. We first integrate this scheme into momentum SGD to develop SMRC, which attains an $O(T^{-1/4})$ convergence rate for a fixed orthonormal basis, matching that of full-space momentum SGD. Our analysis introduces a subspace virtual iterate to resolve the coupling between the momentum and the residual correction. Furthermore, we extend SMRC to a multi-stage variant which periodically recomputes bases to track the evolving dominant subspace and retains the same rate. Since each basis refresh breaks the consistency of the virtual iterates, we devise a boundary correction approach that aligns them across stages. Beyond momentum SGD, we incorporate our framework into Muon and propose PMRC, which applies the matrix sign to the projected momentum. Through a weighted momentum tracking analysis that accounts for the residual gradient, we establish an $O(T^{-1/4})$ convergence rate for PMRC, which matches the rate of full-space Muon. We also design a multi-stage PMRC with periodically refreshed bases, which maintains a convergence rate of the same order. Extensive experimental results confirm the effectiveness and efficiency of our algorithms.
• Abstract（参考訳）: メモリ効率の低い部分空間最適化は、最適化性能を保ちながら、LLMトレーニングのメモリコストを削減するための実践的なアプローチとして登場した。 従来のアルゴリズムは通常、確率勾配の先頭の特異部分空間に依存するが、勾配ノイズは後の訓練段階において部分空間を支配し、収束を防ぐことができる。 この制限を克服するために、サブスペース内のオプティマイザ状態を維持し、パラメータ更新に直交残留勾配を追加する残差補正フレームワークを採用する。 まず、このスキームを運動量SGDに統合してSMRCを開発し、固定正則基底に対して$O(T^{-1/4})$収束率を得る。 解析では,運動量と残差補正の結合を解くために,部分空間の仮想イテレートを導入する。 さらに、SMRCを多段変種に拡張し、周期的にベースを再計算し、進化する支配的部分空間を追跡し、同じ速度を維持する。 各基底リフレッシュは仮想的イテレートの整合性を損なうため、段階的に整合する境界補正アプローチを考案する。 運動量 SGD の他に、我々のフレームワークを Muon に組み込んで PMRC を提案し、行列記号を射影運動量に適用する。 残留勾配を考慮に入れた重み付き運動量追跡解析により、PMRCの$O(T^{-1/4})$収束速度を確立し、フルスペースミューオンの速度と一致する。 また、周期的にリフレッシュされたベースを持つマルチステージPMRCを設計し、同じ順序の収束率を維持する。 大規模な実験結果から,アルゴリズムの有効性と有効性が確認された。

関連論文リスト

• Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization [59.75358446504504]
  本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。 我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。 また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
  論文  参考訳（メタデータ） (2026-10-01T12:32:40Z)
• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning [8.698253005940503]
  アクティベーション誘導ゼロ階最適化(AGZO)を提案する。 従来の方法とは異なり、AGZOは前方通過中にフライ上のコンパクトな活性化インフォームド部分空間を抽出し、この低ランク部分空間に摂動を制限する。 AGZOは、最先端のZOベースラインを一貫して上回り、一階ファインチューニングによるパフォーマンスギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2026-01-24T02:28:15Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。