論文の概要: Cost-free Spectral Estimation for Adaptive Newton--Schulz in Matrix Optimizers

• arxiv url: http://arxiv.org/abs/2609.33047v1
• Date: Sun, 27 Sep 2026 00:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:00:17.323092
• Title: Cost-free Spectral Estimation for Adaptive Newton--Schulz in Matrix Optimizers
• Title（参考訳）: 適応ニュートンのコストフリースペクトル推定--行列最適化器のシュルツ
• Abstract要約: 内部の行列関数演算は、保守的な最悪の場合のスペクトルのために設計する必要はないことを示す。 彼らは既に処理しているスペクトルを安く測定し、それに応じて専門化することができる。
• 参考スコア（独自算出の注目度）: 10.325245543844245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix optimizers such as Muon transform each momentum matrix through an approximate orthogonalization, typically implemented by a small number of Newton-Schulz matrix multiplications. The quality and cost of this approximation depend strongly on the singular-value spectrum of its input, yet existing implementations use the same fixed polynomial routine for every layer and throughout training. We show that this uniform treatment is unnecessary: the computations in the Newton-Schulz method already reveal enough information to make the method adaptive. The Gram matrices formed inside Newton-Schulz iterations yield spectral moments through inexpensive scalar reductions, requiring no additional matrix multiplications. From these moments, we recover an estimate of the empirical singular-value distribution and use it to select a polynomial routine specialized to the current matrix. This turns Newton--Schulz orthogonalization into a spectrum-adaptive procedure that responds to differences across both layers and training time. On saved momentum matrices, spectral estimation substantially reduces orthogonalization error at a fixed iteration budget or reaches the same accuracy with fewer iterations, and in GPT pretraining up to 1B parameters it lowers the validation loss of two matrix optimizers. Our results suggest that matrix-function operations inside optimizers need not be designed for a conservative worst-case spectrum: they can cheaply measure the spectrum they are already processing and specialize computations accordingly.
• Abstract（参考訳）: ミューオンのような行列オプティマイザは、典型的には少数のニュートン・シュルツ行列乗法によって実装される近似直交化を通じて各運動量行列を変換する。 この近似の質とコストは入力の特異値スペクトルに強く依存するが、既存の実装ではすべての層とトレーニングを通して同じ固定多項式ルーチンを使用する。 ニュートン・シュルツ法では,この手法を適応させるのに十分な情報を既に明らかにしている。 ニュートン・シュルツの繰り返しの中で形成されたグラム行列は、安価なスカラー還元を通じてスペクトルモーメントを生じ、追加の行列乗法を必要としない。 これらの瞬間から、経験的特異値分布の推定を復元し、それを現在の行列に特有な多項式ルーチンの選択に用いる。 これによりニュートン-シュルツ直交化は、両方の層の違いと訓練時間に応答するスペクトル適応的な手順へと変化する。 保存された運動量行列では、スペクトル推定は固定された繰り返し予算での直交誤差を大幅に減少させるか、より少ない繰り返しで同じ精度に達する。 以上の結果から,オプティマイザ内の行列関数演算は,すでに処理しているスペクトルを安価に計測し,計算を専門化することで,保守的な最悪のスペクトルに対して設計する必要はないことが示唆された。

関連論文リスト

• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• Learning to Discover Iterative Spectral Algorithms [46.39331984989963]
  AutoSpecは、大規模数値線形代数の反復スペクトルアルゴリズムを発見するニューラルネットワークフレームワークである。 代用数値線形代数タスクの探索アルゴリズムにAutoSpecを適用した。 実世界の解法では、学習された手順は精度および/またはカウントの減少のオーダー・オブ・マグニチュードの改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-10T08:39:59Z)
• PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training [47.80717552769429]
  本稿では,行列関数の計算アルゴリズムを高速化するフレームワークであるPRISM(Polynomial-fitting and Randomized Iterative Sketching for Matrix function)を提案する。 PRISMは適応近似とランダムなスケッチを組み合わせ、各イテレーションにおいて、スケッチされた最小二乗問題を介して現在のスペクトルに代理する。 従来の方法とは異なり、PRISMは明示的なスペクトル境界や特異値推定を必要とせず、進化するスペクトルに自動的に適応する。
  論文  参考訳（メタデータ） (2026-01-29T18:55:46Z)
• Improving Algorithmic Efficiency using Cryptography [11.496343300483904]
  計算問題を解く際の時間的複雑さを改善するために暗号を用いる方法を示す。 標準的な暗号仮定の下では、既存のアルゴリズムよりも決定的に高速なアルゴリズムを設計できることを示す。
  論文  参考訳（メタデータ） (2025-02-18T17:08:59Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness [9.649070872824957]
  行列関数はスムーズなスペクトル制約行列最適化問題を書き換えるために用いられる。 行列ベクトル空間に対する3次正規化ニュートンに対する新しい収束解析法が提供される。
  論文  参考訳（メタデータ） (2022-09-02T18:11:05Z)
• Low-Rank Updates of Matrix Square Roots [7.832944895330117]
  行列平方根と逆平方根演算を考える。 行列に対する低階摂動が与えられたとき、(逆)平方根に対する低階近似補正が存在すると論じる。 次に、その方程式に対する低ランク解をどのように計算するかについて議論する。
  論文  参考訳（メタデータ） (2022-01-31T12:05:33Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。