Fugu-MT 論文翻訳(概要): On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms

論文の概要: On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms

arxiv url: http://arxiv.org/abs/2206.05869v1
Date: Mon, 13 Jun 2022 01:25:59 GMT
ステータス: 処理完了
システム内更新日: 2022-06-14 17:57:27.066319
Title: On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms
Title（参考訳）: シャッフル型勾配アルゴリズムの大域解への収束について
Authors: Lam M. Nguyen, Trang H. Tran
Abstract要約: 勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
参考スコア（独自算出の注目度）: 16.99875183749298
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stochastic gradient descent (SGD) algorithm is the method of choice in many machine learning tasks thanks to its scalability and efficiency in dealing with large-scale problems. In this paper, we focus on the shuffling version of SGD which matches the mainstream practical heuristics. We show the convergence to a global solution of shuffling SGD for a class of non-convex functions under over-parameterized settings. Our analysis employs more relaxed non-convex assumptions than previous literature. Nevertheless, we maintain the desired computational complexity as shuffling SGD has achieved in the general convex setting.
Abstract（参考訳）: 確率的勾配降下(sgd)アルゴリズムは、拡張性と大規模問題への対処効率により、多くの機械学習タスクで選択される方法である。本稿では,本研究の主流である実用的ヒューリスティックスと一致するSGDのシャッフルバージョンに着目した。過パラメータ設定下での非凸関数のクラスに対してSGDをシャッフルする大域的解の収束性を示す。我々の分析では、以前の文献よりも緩和された非凸仮定を採用している。それでも、一般凸設定においてシャッフルSGDが達成した計算複雑性は維持される。

関連論文リスト

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
論文参考訳（メタデータ） (2023-11-15T07:27:40Z)
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。本研究は,D-SGDAの一般化における各因子の影響を解析した。また、最適凸凹設定を得るために一般化とバランスをとる。
論文参考訳（メタデータ） (2023-10-31T11:27:01Z)
Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。 SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
論文参考訳（メタデータ） (2023-07-04T06:06:10Z)
A framework for bilevel optimization that enables stochastic and global variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文参考訳（メタデータ） (2022-01-31T18:17:25Z)
The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
勾配降下(SGD)はアルゴリズム正則化効果が強い。我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
論文参考訳（メタデータ） (2021-08-10T09:56:47Z)
Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文参考訳（メタデータ） (2021-07-06T21:59:49Z)
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation [8.808993671472349]
凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
論文参考訳（メタデータ） (2020-10-03T13:53:30Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文参考訳（メタデータ） (2020-06-18T22:47:58Z)
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文参考訳（メタデータ） (2020-06-12T02:45:21Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。