論文の概要: UNSO: Unified Newton Schulz Orthogonalization

• arxiv url: http://arxiv.org/abs/2602.02500v1
• Date: Sun, 18 Jan 2026 17:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 02:03:42.39966
• Title: UNSO: Unified Newton Schulz Orthogonalization
• Title（参考訳）: UNSO:統一ニュートン・シュルツ・オルソゴン化
• Authors: Chen Hu, Qianxi Zhao, Yuming Li, Mingyu Zhou, Xiyin Li,
• Abstract要約: ニュートン・シュルツ (NS) はムーン多様体とスティーフェル多様体におけるその役割に対する関心が高まっている。 我々は反復構造を統一されたフレームワーク、Unified Newton-Schulz Orthogonalization (UNSO) に統合する。 これらの学習可能な係数は最適化され、安定した収束で優れた性能を達成する。
• 参考スコア（独自算出の注目度）: 10.113387496783007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Newton-Schulz (NS) iteration has gained increasing interest for its role in the Muon optimizer and the Stiefel manifold. However, the conventional NS iteration suffers from inefficiency and instability. Although various improvements have been introduced to NS iteration, they fail to deviate from the conventional iterative paradigm, which could increase computation burden largely due to the matrix products along the long dimension repeatedly. To address this, we consolidate the iterative structure into a unified framework, named Unified Newton-Schulz Orthogonalization (UNSO). To do so, we could avoid a polynomial expansion. Instead, we evaluate the role of each matrix power, remove the insignificant terms, and provide a recommended polynomial with learnable coefficients. These learnable coefficients are then optimized, and achieve an outstanding performance with stable convergence. The code of our method is available: https://github.com/greekinRoma/Unified_Newton_Schulz_Orthogonalization.
• Abstract（参考訳）: ニュートン・シュルツ (NS) の反復は、ミューオン最適化やスティーフェル多様体におけるその役割に対する関心が高まっている。 しかし、従来のNSイテレーションは非効率性と不安定性に悩まされている。 NSイテレーションに様々な改良が加えられているが、行列生成物が長い次元を繰り返すことによって計算負担を増大させるような従来の反復パラダイムから逸脱することはできなかった。 これを解決するために、反復構造を統一されたフレームワーク、Unified Newton-Schulz Orthogonalization (UNSO) に統合する。 そのため、多項式展開は避けることができた。 代わりに、各行列パワーの役割を評価し、重要な項を取り除き、学習可能な係数を持つ推奨多項式を提供する。 これらの学習可能な係数は最適化され、安定した収束で優れた性能を達成する。 https://github.com/greekinRoma/Unified_Newton_Schulz_Orthogonalization。

関連論文リスト

• AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates [0.0]
  運動量に基づく更新の半直交特性について検討し、スペクトルノルム信頼領域下での運動量更新を束縛する方法を開発した。 半直交行列を構成することなく強い性能を達成する線形時間であるAuON(正規化非線形スケーリングによる代替単位ノルム運動量更新)を提案する。 提案手法は, 双極子-コサインRMSスケーリング変換と正規化を組み合わせることで, ニュートン-シュルツ法と比較して, 有効性と計算効率の両立を実証する。
  論文  参考訳（メタデータ） (2025-09-29T06:03:53Z)
• Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
  我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。 グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
  論文  参考訳（メタデータ） (2023-02-23T12:18:28Z)
• Second-order optimization with lazy Hessians [55.51077907483634]
  一般の非線形最適化問題を解くためにニュートンの遅延ヘッセン更新を解析する。 我々は、メソッドの各ステップで新しい勾配を計算しながら、これまで見られたヘッセン反復を再利用する。
  論文  参考訳（メタデータ） (2022-12-01T18:58:26Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
  我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。 MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
  論文  参考訳（メタデータ） (2022-02-02T20:10:40Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently [18.89597524771988]
  非負行列分解(NMF)は、機械学習における多くの応用において、基本的な非修飾最適化問題である。 本稿では,サドル点を同時にかつ確実に回避する乗法的重み更新型力学(Seung algorithm)を定義する。 重要な利点は、並列コンピューティング環境で並列実装を使用することである。
  論文  参考訳（メタデータ） (2020-02-26T06:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。