論文の概要: Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives

• arxiv url: http://arxiv.org/abs/2605.11850v1
• Date: Tue, 12 May 2026 09:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.758691
• Title: Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives
• Title（参考訳）: 非凸対象に対する制約付き確率スペクトルプレコンディショニング
• Authors: Konstantinos Oikonomidis, Jan Quan, Kimon Antonakopoulos, Antonio Silveti-Falls, Volkan Cevher, Panagiotis Patrinos,
• Abstract要約: 我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。 我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
• 参考スコア（独自算出の注目度）: 48.91820744387913
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we develop proximal preconditioned gradient methods with a focus on spectral gradient methods providing a proximal extension to the Muon and Scion optimizers. We introduce a family of stochastic algorithms that can handle a wide variety of convex and nonconvex constraints and study its convergence under heavy-tailed noise, through a novel analysis tailored to the geometry of the proposed methods. We further propose a variance-reduced version, which achieves faster convergence under standard noise assumptions. Finally, we show that the polynomial iterations used in Muon are more accurately captured by a nonlinear preconditioner than by the ideal matrix sign, leading to a convergence analysis that more faithfully reflects practical implementations.
• Abstract（参考訳）: 本研究では,Muon と Scion のオプティマイザに近位拡張を与えるスペクトル勾配法に着目した近位条件付き勾配法を開発する。 本稿では,多種多様な凸制約と非凸制約を扱える確率論的アルゴリズム群を紹介し,その収束性について,提案手法の幾何学に合わせた新しい解析手法を用いて検討する。 さらに、標準雑音仮定の下でより高速な収束を実現する分散還元バージョンを提案する。 最後に、ムオンで使われる多項式の反復は、理想行列符号よりも非線形プレコンディショナーによりより正確に捕捉され、より忠実に実践的な実装を反映する収束解析が導かれることを示す。

関連論文リスト

• Non-convex Stochastic Composite Optimization with Polyak Momentum [25.060477077577154]
  一般化近位勾配は広く用いられる勾配降下法(SGD)の強力な一般化である。 しかし、メソッドがマシン内の多くのアプリケーションに収束しないことは知られている。
  論文  参考訳（メタデータ） (2024-03-05T13:43:58Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• A Unified Convergence Analysis for Shuffling-Type Gradient Methods [32.8097849940763]
  有限項問題を解くための一般化勾配シャッフル型法に対する統一収束解析を提案する。 以上の結果から,特定の神経シャッフル変種でのトレーニングに適する選択が示唆された。
  論文  参考訳（メタデータ） (2020-02-19T15:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。