論文の概要: The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
- arxiv url: http://arxiv.org/abs/2512.09678v1
- Date: Wed, 10 Dec 2025 14:25:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-11 15:14:53.552269
- Title: The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
- Title（参考訳）: Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
- Authors: Alexey Kravatskiy, Ivan Kozyrev, Nikolai Kozlov, Alexander Vinogradov, Daniil Merkulov, Ivan Oseledets,
- Abstract要約: 我々は、Dionと密接に関連するFanionsという名前のMuonライクなアルゴリズムのファミリーを紹介する。
F-ムーンとS-ムーンはムオンのパフォーマンスと一貫して一致し、合成線形最小二乗問題ではバニラ・ムーンよりも優れていた。
- 参考スコア（独自算出の注目度）: 37.169656352055604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article, we explore the use of various matrix norms for optimizing functions of weight matrices, a crucial problem in training large language models. Moving beyond the spectral norm underlying the Muon update, we leverage duals of the Ky Fan $k$-norms to introduce a family of Muon-like algorithms we name Fanions, which are closely related to Dion. By working with duals of convex combinations of the Ky Fan $k$-norms with either the Frobenius norm or the $l_\infty$ norm, we construct the families of F-Fanions and S-Fanions, respectively. Their most prominent members are F-Muon and S-Muon. We complement our theoretical analysis with an extensive empirical study of these algorithms across a wide range of tasks and settings, demonstrating that F-Muon and S-Muon consistently match Muon's performance, while outperforming vanilla Muon on a synthetic linear least squares problem.
- Abstract（参考訳）: 本稿では,重み行列の関数を最適化するための様々な行列ノルムの利用について検討する。
Muon アップデートの根底にあるスペクトルノルムを超えて、Ky Fan $k$-norms の双対を利用して、Dion と密接に関連する Muon のようなアルゴリズムの族を導入する。
Ky Fan $k$-ノルムの凸結合をフロベニウスノルムまたは$l_\infty$ノルムの双対とすることで、それぞれ F-Fanion と S-Fanions の族を構築する。
最も著名なメンバーはFムーンとSムーンである。
F-Muon と S-Muon は、合成線形最小二乗問題においてバニラ・ムオンを上回りながら、ムオンの性能と一貫して一致していることを示す。
関連論文リスト
- Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。
この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。
我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
論文 参考訳（メタデータ） (2025-10-12T19:39:41Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Error Feedback for Muon and Friends [80.90330715662961]
我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。
我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
論文 参考訳（メタデータ） (2025-10-01T08:20:08Z) - On the Convergence of Muon and Beyond [31.900178928104648]
分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。
全体として、この研究はムオン形式の最適性の最初の証明を提供する。
論文 参考訳（メタデータ） (2025-09-19T09:43:37Z) - Muon Optimizes Under Spectral Norm Constraints [12.29696026957078]
重み行列のスペクトルノルムに制約を課す最適化問題を暗黙的に解くことを示す。
この観点は、暗黙的に正規化され制約付き最適化アルゴリズムのより広範なクラスを探索することを可能にする。
論文 参考訳（メタデータ） (2025-06-18T01:32:39Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z) - Log-based Sparse Nonnegative Matrix Factorization for Data
Representation [55.72494900138061]
非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。
そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。
提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
論文 参考訳（メタデータ） (2022-04-22T11:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。