論文の概要: Convergence Guarantees for Stochastic Subgradient Methods in Nonsmooth
Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2307.10053v2
- Date: Mon, 4 Sep 2023 07:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 04:06:05.473859
- Title: Convergence Guarantees for Stochastic Subgradient Methods in Nonsmooth
Nonconvex Optimization
- Title(参考訳): 非滑らかな非凸最適化における確率的下位手法の収束保証
- Authors: Nachuan Xiao, Xiaoyin Hu, Kim-Chuan Toh
- Abstract要約: モーメント項と変数を更新するためのステップ化に異なる時間尺度を割り当てる新しいフレームワークを開発する。
提案手法は, ヘビーボールSGD, SignSGD, Lion, 正規化SGD, クリッピングSGDなど, 広く知られたSGD型手法を含む。
特に、これらのSGD型手法は、ランダムに選択されたステップサイズと初期点を持つ目的関数のクラーク定常点を求める。
- 参考スコア(独自算出の注目度): 3.4376560669160394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate the convergence properties of the stochastic
gradient descent (SGD) method and its variants, especially in training neural
networks built from nonsmooth activation functions. We develop a novel
framework that assigns different timescales to stepsizes for updating the
momentum terms and variables, respectively. Under mild conditions, we prove the
global convergence of our proposed framework in both single-timescale and
two-timescale cases. We show that our proposed framework encompasses a wide
range of well-known SGD-type methods, including heavy-ball SGD, SignSGD, Lion,
normalized SGD and clipped SGD. Furthermore, when the objective function adopts
a finite-sum formulation, we prove the convergence properties for these
SGD-type methods based on our proposed framework. In particular, we prove that
these SGD-type methods find the Clarke stationary points of the objective
function with randomly chosen stepsizes and initial points under mild
assumptions. Preliminary numerical experiments demonstrate the high efficiency
of our analyzed SGD-type methods.
- Abstract(参考訳): 本稿では, 確率勾配降下法(sgd)法とその変種, 特に非運動活性化関数を用いたニューラルネットワークの学習において, 収束特性について検討する。
運動量項と変数をそれぞれ更新するためのステップ化に異なる時間スケールを割り当てる新しいフレームワークを開発した。
軽度条件下では, 単一時間スケールと2時間スケールのいずれにおいても, 提案するフレームワークのグローバルな収束が証明される。
提案手法は, ヘビーボールSGD, SignSGD, Lion, 正規化SGD, クリッピングSGDなど, 広く知られたSGD型手法を含む。
さらに、目的関数が有限サム定式化を採用すると、提案フレームワークに基づくこれらのSGD型手法の収束特性が証明される。
特に、これらのSGD型手法は、ランダムに選択されたステップサイズと初期点を持つ目的関数のクラーク定常点を求める。
予備数値実験により,sgd型解析法の高効率化が実証された。
関連論文リスト
- Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models
via Reparameterisation and Smoothing [1.6114012813668932]
微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。
我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。
我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
論文 参考訳(メタデータ) (2024-02-19T00:43:22Z) - FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。
i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文 参考訳(メタデータ) (2023-12-10T20:41:43Z) - Revisiting GANs by Best-Response Constraint: Perspective, Methodology,
and Application [49.66088514485446]
ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。
モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
論文 参考訳(メタデータ) (2022-05-20T12:42:41Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳(メタデータ) (2022-02-15T09:17:39Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - Local SGD: Unified Theory and New Efficient Methods [8.701566919381223]
本稿では,局所的なSGD手法を凸型および強凸型で解析するための統一的なフレームワークを提案する。
我々は,データ均一性や他の強い仮定を必要としない,線形収束型局所SGD法を開発した。
論文 参考訳(メタデータ) (2020-11-03T13:02:50Z) - Linearly Converging Error Compensated SGD [11.436753102510647]
本稿では、任意の圧縮と遅延更新を伴う分散SGDの変種を統一的に解析する。
我々のフレームワークは、量子化されたSGD、ErrorCompensated SGD、SGDの様々な変種をカバーするのに十分である。
我々は、分散還元や任意のサンプリングと誤りフィードバックと量子化を組み合わせたSGDの新しい変種を開発する。
論文 参考訳(メタデータ) (2020-10-23T10:46:31Z) - A Unified Analysis of Stochastic Gradient Methods for Nonconvex
Federated Optimization [16.714109768541785]
非非状態におけるSGD不変量を満たすすべての方法について単一の解析を行う。
また、PL条件下での非非状態におけるより高速な線形収束を得るための統一解析も提供する。
論文 参考訳(メタデータ) (2020-06-12T08:58:03Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳(メタデータ) (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。