論文の概要: Schattor: Schatten-family methods for deep learning optimization
- arxiv url: http://arxiv.org/abs/2606.15702v1
- Date: Sun, 14 Jun 2026 09:31:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.801737
- Title: Schattor: Schatten-family methods for deep learning optimization
- Title（参考訳）: Schattor: ディープラーニング最適化のためのSchattenファミリーメソッド
- Abstract要約: そこで我々は、Schattenノルムに基づく適応的な一階法の一群を提案する。
我々は、Schattor と SGD の手法に対して、次元自由なステーション保証を確立する。
また、ブロックワイズ最適化の進捗を適応的にバランスさせるマルチブロック拡張も開発している。
- 参考スコア（独自算出の注目度）: 13.92796349861358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep learning optimization features heterogeneous parameter structures, noisy gradients, and highly nonconvex landscapes, posing significant challenges for both algorithm design and theoretical analysis. Motivated by the limitations of SGD and the success of adaptive optimizers, we propose {\it Schattor}, a family of adaptive first-order methods based on Schatten norms. Schattor unifies SGD and the recently proposed matrix-variate adaptive optimizer Muon within a single Schatten-norm-based framework. We establish dimension-free stationarity guarantees for methods in the Schattor family for stochastic matrix optimization problems via a novel matrix martingale moment bound. We also develop multi-block extensions that adaptively balance block-wise optimization progress and prove dimension-free stationarity guarantees in this more general setting.
- Abstract（参考訳）: 現代のディープラーニング最適化は、不均一なパラメータ構造、ノイズ勾配、および非常に非凸な景観を特徴とし、アルゴリズム設計と理論解析の両方において重要な課題を提起している。
SGDの限界と適応最適化器の成功に触発されて、Schattenノルムに基づく適応的な一階法群である {\it Schattor} を提案する。
SchattorはSGDと最近提案された行列変数適応最適化器Muonを単一のSchatten-normベースのフレームワークに統合する。
確率行列最適化問題に対するSchattor族における手法の次元自由定常性保証を、新しい行列マーチンゲールモーメント境界を用いて確立する。
また、ブロックワイズ最適化の進捗を適応的にバランスさせるマルチブロック拡張を開発し、このより一般的な設定で次元自由な定常性を保証する。
関連論文リスト
- Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning [46.539149169728624]
大規模な微調整の大きな障害は、バックプロパゲーションのメモリオーバーヘッドである。
$texttAdaNAGED$は、勾配なしトレーニング、適応チューニング、非ユークリッド更新幾何学を統一するメソッドである。
論文 参考訳（メタデータ） (2026-06-12T21:46:54Z) - Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。
フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
論文 参考訳（メタデータ） (2026-04-01T15:40:20Z) - Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。
プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。
両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
論文 参考訳（メタデータ） (2026-02-09T03:09:47Z) - Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。
この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。
我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
論文 参考訳（メタデータ） (2025-10-12T19:39:41Z) - Learning to optimize with guarantees: a complete characterization of linearly convergent algorithms [1.4747234049753448]
高度な工学的応用では、最適化アルゴリズムは数学的に定義された問題のクラスよりも証明可能な証明可能なケースを保証する必要がある。
非滑らかな合成最適化問題のクラスに対して線形収束を実現するアルゴリズムのクラスを記述する。
論文 参考訳（メタデータ） (2025-08-01T16:56:42Z) - Differential Evolution for Grassmann Manifold Optimization: A Projection Approach [0.0]
グラスマン多様体 Gr(k,n) 上で定義される実数値目的関数に対する新しい進化的アルゴリズムを提案する。
我々のアプローチは、分解を通してベクトルを多様体に写像する射影を包含する。
論文 参考訳（メタデータ） (2025-03-27T21:04:19Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。
我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Improved Approximation Algorithms for Low-Rank Problems Using Semidefinite Optimization [2.0052993723676895]
そこで我々は,低ランク最適化問題に対する類似の緩和戦略を構築した。
与えられた$n × m$ の半直交行列に対して、我々はアルゴリズムに対して純粋に乗法的近似比を導出する。
我々は、新しい半有限緩和法を開発することにより、一般の低ランク最適化問題にアプローチを拡張した。
論文 参考訳（メタデータ） (2025-01-06T11:31:41Z) - Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。
適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。
決定集合の低次元構造を高次元問題に活用する。
論文 参考訳（メタデータ） (2022-11-21T18:31:43Z) - Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究
線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。
PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
論文 参考訳（メタデータ） (2021-10-18T02:33:20Z) - Private Adaptive Gradient Methods for Convex Optimization [32.3523019355048]
適応的なステップサイズを持つグラディエント Descent (SGD) アルゴリズムの差分プライベート変種を提案・解析する。
両アルゴリズムの後悔に関する上限を与え、その境界が最適であることを示す。
論文 参考訳（メタデータ） (2021-06-25T16:46:45Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳（メタデータ） (2020-07-09T10:19:22Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。