論文の概要: When to use what Schatten-$p$ norm in deep learning?
- arxiv url: http://arxiv.org/abs/2606.15268v1
- Date: Sat, 13 Jun 2026 12:02:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.24023
- Title: When to use what Schatten-$p$ norm in deep learning?
- Title（参考訳）: ディープラーニングにおいて、Schatten-$p$の標準はいつ使うべきか?
- Authors: Thomas Pethick,
- Abstract要約: 目的がシャッテン-$infty$幾何において滑らかであるとしても、より小さなシャッテン-$p$ジオメトリーは最適である。
この結論は、SODAフレームワークを$p>2$で新しいノイズ・ロバスト加速結果から導かれる。
同じ分析は、なぜMuonのようなメソッドがウォームアップを必要としないのか、なぜ自然に大きなバッチを好んでおり、任意の$p$のバッチサイズスケーリングルールを生成するのかを説明している。
- 参考スコア（独自算出の注目度）: 8.94416692245791
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Schatten-$\infty$ based optimizers such as Muon have shown promising empirical performance, but there remains seemingly conflicting observations regarding whether they are beneficial. We resolve this conflict by showing that the conclusion is regime dependent. Even when the objective is smooth in the Schatten-$\infty$ geometry, smaller Schatten-$p$ geometries can be optimal, specifically in the low-dimensional regime, which we show includes Chinchilla scaling. This conclusion follows from a new noise-robust acceleration result for the SODA framework for $p>2$. The same analysis explains why Muon-like methods do not require warmup, why they naturally favor large batches, and yields a batch size scaling rule for arbitrary $p$.
- Abstract（参考訳）: Muon のような Schatten-$\infty$ ベースのオプティマイザは有望な経験的性能を示しているが、それらが有益かどうかについては相反する観測が残っているようである。
我々はこの紛争を、結論が体制に依存していることを示すことによって解決する。
目的がシャッテン-$\infty$幾何において滑らかであるとしても、より小さなシャッテン-$p$ジオメトリーは最適であり、特にチンチラスケーリングを含む低次元のレジームで示される。
この結論は、SODAフレームワークを$p>2$で新しいノイズ・ロバスト加速結果から導かれる。
同じ分析は、なぜMuonのようなメソッドがウォームアップを必要としないのか、なぜ自然に大きなバッチを好んでおり、任意の$p$のバッチサイズスケーリングルールを生成するのかを説明している。
関連論文リスト
- Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad [3.8357180714081327]
適応的勾配法は,アルゴリズム的な変化を伴わずに最小限の雑音を収束させることができることを示す。
また、重み付き最適化のための既存の minimax レートが $mathtAdaGrad$ では達成できないことを示し、既存の minimax レートが $mathtAdaGrad$ では達成できないことを示唆する。
論文 参考訳（メタデータ） (2026-05-18T17:30:15Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Small Gradient Norm Regret for Online Convex Optimization [19.699405661554845]
我々は、$Gstar$後悔は、既存の$Lstar$(小さな損失)後悔を厳しく洗練させることを示した。
結果をダイナミックな後悔と盗賊の設定にまで拡張します。
論文 参考訳（メタデータ） (2026-01-20T02:11:01Z) - Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。
これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。
本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
論文 参考訳（メタデータ） (2024-06-07T02:55:57Z) - (Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum [7.095058159492494]
ヘビーボール運動量(SHB)は機械学習モデルのトレーニングに一般的に用いられ、勾配よりも経験的な結果を提供することが多い。
SHBは, 条件値 $kappa2$ の閾値 $b*$ よりも小さい場合に, 高速化されたミニバッチサイズが得られることを示す。
論文 参考訳（メタデータ） (2024-01-12T18:17:28Z) - DIFF2: Differential Private Optimization via Gradient Differences for
Nonconvex Distributed Learning [58.79085525115987]
以前の研究でよく知られたユーティリティ境界は$widetilde O(d2/3/(nvarepsilon_mathrmDP)4/3)$である。
本稿では,差分プライベートフレームワークを構築した mphDIFF2 (DIFFerential private via DIFFs) という新しい差分プライベートフレームワークを提案する。
大域的な降下を持つ$mphDIFF2は$widetilde O(d2/3/(nvarepsilon_mathrmDP)4/3の効用を達成する
論文 参考訳（メタデータ） (2023-02-08T05:19:01Z) - Optimal Gradient Sliding and its Application to Distributed Optimization
Under Similarity [121.83085611327654]
積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。
エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。
提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
論文 参考訳（メタデータ） (2022-05-30T14:28:02Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳（メタデータ） (2022-05-23T17:59:18Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。