論文の概要: Aurora: A Leverage-Aware Spectral Optimizer

• arxiv url: http://arxiv.org/abs/2606.27715v1
• Date: Fri, 26 Jun 2026 04:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.368998
• Title: Aurora: A Leverage-Aware Spectral Optimizer
• Title（参考訳）: Aurora:レバレッジ対応分光オプティマイザ
• Abstract要約: 階層内の射影行列のような高い行列パラメータに対して、ムーン更新は任意に一様でない行ノルムを持つことができることを示す。 これは、ニューロンが持続的に小さな更新を受け、最終的にはネットワーク出力に寄与しない自己強化フィードバックループにつながる可能性がある。 本研究では,Muonの極係数幾何を尊重しながら行一様行列の更新を行うオーロラを提案する。
• 参考スコア（独自算出の注目度）: 3.913087720765583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that for tall matrix parameters, like projection matrices in the MLP layers, the Muon update can have row norms that are arbitrarily non-uniform. This can lead to a self-reinforcing feedback loop whereby neurons receive persistently small updates and eventually do not contribute meaningfully to network outputs. This problem is effectively mitigated by an additional row normalization step, but current methods do this in a way that moves the Muon update geometry away from the polar factor of the momentum matrix, which we find is undesirable. We propose Aurora, an optimizer that enforces row-uniformity of matrix parameter updates while respecting Muon's polar factor geometry. Aurora outperforms Muon in our pre-training experiments and, when combined with existing methods, achieves state-of-the-art performance among spectral optimizers on the optimizer track of the modded-nanoGPT speedrun. Additionally, we find that Aurora's empirical gains over Muon scale with the MLP expansion factor, suggesting that Aurora may allow for effective training of very wide MLP layers.
• Abstract（参考訳）: MLP層の射影行列のような高い行列パラメータに対して、ムーン更新は任意に一様でない行ノルムを持つことができることを示す。 これは、ニューロンが持続的に小さな更新を受け、最終的にはネットワーク出力に意味のある貢献をしない自己強化フィードバックループにつながる可能性がある。 この問題は、追加の行正規化ステップによって効果的に緩和されるが、現在の方法では、ムーンの更新幾何を運動量行列の極因子から遠ざけることができ、これは望ましくない。 我々は,Muonの極係数幾何学を尊重しながら,行列パラメータ更新の行一様性を強制するオプティマイザであるAuroraを提案する。 Aurora はトレーニング前の実験で Muon よりも優れており、既存の手法と組み合わせることで、変調ナノGPT 速度ランのオプティマイザトラックにおけるスペクトルオプティマイザの最先端性能を実現している。 さらに, Aurora の MLP 拡張係数による Muon スケールに対する経験的向上は, 非常に広い MLP 層の効果的トレーニングを可能にする可能性が示唆された。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration [6.574641780732972]
  我々は,MuonのようなスペクトルがAdamWより優れている隠蔽層トレーニング問題に焦点を当てた。 そのため、Muonの象徴的なNewton-Schulz手順を、より高速でより集中的なパワーイテレーション手法で置き換える。 本手法はZO-Muonの収束速度を1.5倍から4倍にすることができる。
  論文  参考訳（メタデータ） (2026-05-09T16:16:45Z)
• Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning [15.604900995606451]
  スペクトルノルムを意識した連続学習フレームワークであるMuon-OGDを提案する。 提案手法を標準連続学習ベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-05-09T13:42:08Z)
• Delve into the Applicability of Advanced Optimizers for Multi-Task Learning [70.80216936064654]
  MTL(Multi-Task Learning)は、機械学習の問題であり、過去10年間に広範囲に開発されてきた。 APT(Advanced oPizers)は,高度とMTLの強度のバランスをとるために設計された,シンプルな適応運動量機構を備えたフレームワークである。
  論文  参考訳（メタデータ） (2026-04-10T04:15:31Z)
• Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training [0.0]
  MUD(MomentUm Decorrelation)は,Muonの極点更新を三角形(Cholesky様)の白化代理に置き換える補完的な白化手法である。 MUDは、調整されたAdamWとMuonよりも、10-50%のウォールクロック改善を実現している。 また,EMM-2 150Mタンパク質言語モデルのトレーニングを行った。
  論文  参考訳（メタデータ） (2026-03-18T17:37:31Z)
• Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
  スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。 我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。 textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:03:49Z)
• On Surprising Effectiveness of Masking Updates in Adaptive Optimizers [10.768690758267264]
  ランダムなマスキングパラメータの更新は、大規模言語モデルのトレーニングに非常に効果的であることを示す。 我々はモーメントアライメント・アライメント・アライメント・マスキング(Magma)を導入し,モーメントアライメント・アライメントを用いてマスク更新を変調する。 1Bモデルサイズでは、MagmaはAdamとMuonと比較して、パープレキシティを19%以上、そして9%以上削減する。
  論文  参考訳（メタデータ） (2026-02-17T02:57:12Z)
• Delving into Muon and Beyond: Deep Analysis and Extensions [8.297062899157664]
  We study Muon as the p = 0 end of a family of a spectrum transformations of form U boldsymbolp V'。 RMS正規化更新は、最初のモーメント更新よりも安定した最適化をもたらす。 この結果から,Muonはスペクトル正規化の有効な形式として理解されているのがよいが,汎用的に優れた最適化手法ではないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T15:40:47Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。