Fugu-MT 論文翻訳(概要): Variants of SGD for Lipschitz Continuous Loss Functions in Low-Precision Environments

論文の概要: Variants of SGD for Lipschitz Continuous Loss Functions in Low-Precision Environments

arxiv url: http://arxiv.org/abs/2211.04655v5
Date: Wed, 27 Sep 2023 05:01:48 GMT
ステータス: 処理完了
システム内更新日: 2023-09-28 22:23:41.493803
Title: Variants of SGD for Lipschitz Continuous Loss Functions in Low-Precision Environments
Title（参考訳）: 低精度環境におけるリプシッツ連続損失関数のsgd変異
Authors: Michael R. Metel
Abstract要約: この研究は、低ビット浮動小数点環境と固定点環境におけるニューラルネットワークトレーニングによって動機付けられ、SGDの変種収束を研究する。損失関数の勾配の近似のみを計算し、SGDステップ自体の誤差を計算できると仮定する。
参考スコア（独自算出の注目度）: 6.418044102466421
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Motivated by neural network training in low-bit floating and fixed-point environments, this work studies the convergence of variants of SGD using adaptive step sizes with computational error. Considering a general stochastic Lipschitz continuous loss function, an asymptotic convergence result to a Clarke stationary point is proven as well as the non-asymptotic convergence to an approximate stationary point. It is assumed that only an approximation of the loss function's stochastic gradient can be computed in addition to error in computing the SGD step itself. Different variants of SGD are tested empirically in a variety of low-precision arithmetic environments, where improved test set accuracy is observed compared to SGD for two image recognition tasks.
Abstract（参考訳）: 低ビット浮動小数点浮動小数点環境におけるニューラルネットワークの学習を動機とし,適応ステップサイズと計算誤差を用いてsgdの変種について検討した。一般的な確率的リプシッツ連続損失関数を考えると、クラーク定常点への漸近収束の結果と、近似定常点への非漸近収束が証明される。 sgdステップ自体の計算誤差に加えて、損失関数の確率勾配の近似のみを計算できると仮定する。 2つの画像認識タスクのSGDと比較して、テストセットの精度が向上した様々な低精度演算環境において、異なるSGDの変種を経験的にテストする。

関連論文リスト

Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis [6.497816402045099]
理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
論文参考訳（メタデータ） (2022-06-01T17:08:04Z)
On the Convergence of mSGD and AdaGrad for Stochastic Optimization [0.696125353550498]
凸降下(SGD)は、過去10年間に機械学習に大きく開発され、広く応用されてきた。モーメントベースのSGD(mSGD)や適応的勾配最適化(AdaGrad)など、多くの競合や応用においてSGDよりも優れている修正SGD型アルゴリズムもある。我々は,機械学習における任意の滑らかな(不可能かもしれない)損失関数に対するmSGDとAdaGradの収束解析に着目する。
論文参考訳（メタデータ） (2022-01-26T22:02:21Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文参考訳（メタデータ） (2021-06-30T18:32:46Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation [8.808993671472349]
凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
論文参考訳（メタデータ） (2020-10-03T13:53:30Z)
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文参考訳（メタデータ） (2020-08-28T14:46:56Z)
An Analysis of Constant Step Size SGD in the Non-convex Regime: Asymptotic Normality and Bias [17.199063087458907]
臨界点が好ましい統計特性を持つ構造化された非学習問題は、統計機械学習において頻繁に発生する。我々は,SGDアルゴリズムが実際に広く利用されていることを示す。
論文参考訳（メタデータ） (2020-06-14T13:58:44Z)
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文参考訳（メタデータ） (2020-06-12T02:45:21Z)
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent [0.0]
本研究では,2次ランゲ・クッタ法を導入し,損失関数の最小化のための一貫した手順を導出することを示す。さらに、適応的なフレームワークに結合して、SGDの学習率を自動的に調整するグラディエントDescent(SGD)を組み込むことができる。適応型SGDはSGD-G2と呼ばれ、標準データセット上でうまくテストされている。
論文参考訳（メタデータ） (2020-02-20T15:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。