論文の概要: Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits

• arxiv url: http://arxiv.org/abs/2610.26742v1
• Date: Mon, 19 Oct 2026 17:06:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:38:26.14396
• Title: Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits
• Title（参考訳）: 極スイッチ:多項式回路を用いた高速ミューオン直交化
• Abstract要約: 勾配化の新しいアプローチであるPolar Switchを導入する。 単純な回路を用いて、Polar Switchはクインティックイテレーションよりも低いFLOPコストで与えられた高いケースに到達する。
• 参考スコア（独自算出の注目度）: 2.1583596008762935
• License:
• Abstract: Muon, a 2024-born optimizer for language models, differs from the 2015-born spectral gradient descent mainly in its fast, GPU-friendly Newton--Schulz polynomial for orthogonalizing the gradient matrix. Accordingly, a line of research proposes faster polynomial iterations for gradient orthogonalization, such as Polar Express and Gram Newton--Schulz, both built on quintic polynomials. In this paper, we introduce Polar Switch, a new approach to polynomial gradient orthogonalization. Using simple polynomial circuits, Polar Switch reaches a given high polynomial degree at a lower FLOP cost than quintic iterations. We define a circuit as a short sequence of symmetric matrix products on a few square buffers, and circuits with $k$ products form a restricted family of odd polynomials of degree up to $2^{k+1}+1$. We choose the sequence of products in each circuit, their coefficients, and how the circuits are composed by numerically minimizing a worst-case bound on the polar approximation error. This minimization is subject to a FLOP budget that accounts for symmetric matrix multiplication kernels and a rounding constraint for numerical stability in half precision. Our two recommended Polar Switch methods have 15.5--18.7\% lower runtime than Polar Express on square matrices and 8.6--16.2\% lower runtime than Gram Newton--Schulz on rectangular matrices with aspect ratios 3.25, 3.5, and 8, with comparable approximation accuracy. In pretraining Modded-NanoGPT \#91, Qwen3-0.6B, and Gemma 3-1B, Polar Switch reaches final validation losses similar to those of established orthogonalization methods. Across the more than 14 million matrices that each of the two recommended methods orthogonalized in these runs, the estimated output spectral norms never exceed the designed bounds by more than 3\%, demonstrating their numerical stability.
• Abstract（参考訳）: 言語モデルのための2024年生まれのオプティマイザであるMuonは、勾配行列を直交する高速でGPUフレンドリーなNewton-Schulz多項式を中心に、2015年生まれのスペクトル勾配降下とは異なる。 本稿では,多項式勾配直交化の新しいアプローチであるPolar Switchを紹介する。 単純な多項式回路を用いて、Polar Switchはクインティック反復よりも低いFLOPコストで与えられた高い多項式次数に達する。 回路を数平方バッファ上の対称行列積の短い列として定義し、$k$積を持つ回路は、次数2^{k+1}+1$までの奇多項式の制限された族を形成する。 極性近似誤差に縛られた最悪のケースを数値的に最小化することにより、各回路の積列、その係数、回路の構成方法を選択する。 この最小化は、対称行列乗算カーネルと半精度の数値安定性のための丸めの制約を考慮に入れたFLOP予算に従う。 我々の推奨する2つの極スイッチ法は、正方行列上のPolar Expressよりも15.5--18.7\%低いランタイムと、アスペクト比3.25,3.5,8の長方行列上のGram Newton-Schulzよりも8.6--16.2\%低いランタイムを持つ。 Modded-NanoGPT \#91, Qwen3-0.6B, Gemma 3-1Bの事前訓練において、Polar Switchは確立された直交法と同様に最終的な検証損失に達する。 これら2つの推奨手法のそれぞれが直交する1400万以上の行列に対して、推定出力スペクトルノルムは設計された境界を超えることはなく、それらの数値安定性を示す。

関連論文リスト

• Quantum algorithms for orthogonal polynomial transforms [1.6624384368855523]
  Askey スキームの族に対する離散かつ連続的な新しい QOPT を提供する。 我々の効率的なQOPTアルゴリズムは時間$O(textpolylog(N(+++1)/)right)$を必要とします。 我々は、3項分解を用いて対応するチャープを高速にフォワードすることで、ラゲール変換のための新しいフレームワークを全ての順序に対して$>0$で開発する。
  論文  参考訳（メタデータ） (2026-10-02T16:53:47Z)
• Quantum oblique eigenprojection [49.83328724547849]
  量子コンピュータは、入力行列へのアクセスを符号化する固有プロジェクション$$$のブロックを実行できることを示す。 この結果から,非解析行列関数を量子コンピュータに適用するための有望な経路が示唆された。
  論文  参考訳（メタデータ） (2026-09-30T17:40:15Z)
• Cost-free Spectral Estimation for Adaptive Newton--Schulz in Matrix Optimizers [10.325245543844245]
  内部の行列関数演算は、保守的な最悪の場合のスペクトルのために設計する必要はないことを示す。 彼らは既に処理しているスペクトルを安く測定し、それに応じて専門化することができる。
  論文  参考訳（メタデータ） (2026-09-27T00:22:19Z)
• The Polar Express: Optimal Matrix Sign Methods and Their Application to the Muon Algorithm [24.020943794160555]
  極分解を計算するための新しい手法であるPolar Expressを紹介する。 この戦略が最悪の場合においてエラーを最小限に抑え、極極急行をできるだけ早く収束させることができることを実証する。 Muon トレーニングフレームワークに統合されると,本手法は検証損失を一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2025-05-22T17:23:14Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
  微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。 前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。 一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
  論文  参考訳（メタデータ） (2022-01-29T10:00:35Z)
• Fast Differentiable Matrix Square Root [65.67315418971688]
  微分可能な行列平方根を計算するために、より効率的な2つの変種を提案する。 前方伝播には, Matrix Taylor Polynomial (MTP) を用いる方法がある。 もう1つの方法は Matrix Pad'e Approximants (MPA) を使うことである。
  論文  参考訳（メタデータ） (2022-01-21T12:18:06Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。