論文の概要: Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates

• arxiv url: http://arxiv.org/abs/2402.15344v1
• Date: Fri, 23 Feb 2024 14:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 14:21:38.612215
• Title: Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
• Title（参考訳）: 定値および減衰学習率を用いた確率勾配の反復と確率的1次オラクル複雑度
• Authors: Kento Imaizumi, Hideaki Iiduka
• Abstract要約: 本研究では,学習速度だけでなく,バッチサイズにも依存していることを示す。 その結果, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。
• 参考スコア（独自算出の注目度）: 0.8158530638728501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of stochastic gradient descent (SGD), which is the simplest first-order optimizer for training deep neural networks, depends on not only the learning rate but also the batch size. They both affect the number of iterations and the stochastic first-order oracle (SFO) complexity needed for training. In particular, the previous numerical results indicated that, for SGD using a constant learning rate, the number of iterations needed for training decreases when the batch size increases, and the SFO complexity needed for training is minimized at a critical batch size and that it increases once the batch size exceeds that size. Here, we study the relationship between batch size and the iteration and SFO complexities needed for nonconvex optimization in deep learning with SGD using constant or decaying learning rates and show that SGD using the critical batch size minimizes the SFO complexity. We also provide numerical comparisons of SGD with the existing first-order optimizers and show the usefulness of SGD using a critical batch size. Moreover, we show that measured critical batch sizes are close to the sizes estimated from our theoretical results.
• Abstract（参考訳）: 深層ニューラルネットワークをトレーニングするための最も単純な一階最適化器である確率勾配降下(SGD)の性能は、学習速度だけでなく、バッチサイズにも依存する。 どちらもイテレーションの数と、トレーニングに必要な確率的な1次オラクル(SFO)の複雑さに影響します。 特に, 前回の数値計算の結果から, 一定の学習率を用いたSGDでは, バッチサイズが大きくなると, 学習に必要な反復回数が減少し, 学習に必要なSFOの複雑さが限界バッチサイズで最小化され, バッチサイズがそのサイズを超えると増大することがわかった。 本稿では,sgdを用いた深層学習における非凸最適化に必要なバッチサイズとsfoの複雑度との関係について検討し,臨界バッチサイズを用いたsgdがsfoの複雑さを最小化することを示す。 また、SGDと既存の一階最適化器の数値比較を行い、臨界バッチサイズを用いてSGDの有用性を示す。 さらに, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。

関連論文リスト

• Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search [0.8158530638728501]
  本研究では,SGDが深層数値線を用いた場合,他の深層学習ネットワークよりも優れた性能を示す。 その結果,バッチサイズが大きくなるにつれて,SFOに必要なステップ数を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-25T21:59:17Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One [0.0]
  学習速度が小さいこと,1に近いハイパーパラメータ,大きなバッチサイズが,損失関数を最小化するディープニューラルネットワークのモデルパラメータを見つけることができることを示す。 その結果,Adamは一定の学習率と1に近いハイパーパラメータを用いており,SFOの複雑性を最小化する臨界バッチサイズはモメンタムや勾配勾配よりも早く収束することがわかった。
  論文  参考訳（メタデータ） (2022-08-21T06:11:23Z)
• Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule [0.2741266294612775]
  これまで、異なる学習率を用いた2つの時間スケール更新ルール(TTUR)が、理論および実際におけるGAN(Generative Adversarial Network)のトレーニングに有用であることが示されてきた。 本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
  論文  参考訳（メタデータ） (2022-01-28T08:52:01Z)
• Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization [0.0]
  一階オラクル(SFO)の複雑さの下限と上限を最小化するという意味で、重要なバッチサイズが存在することを証明した。 また、SFOの複雑性が下界と上界に適合するために必要な条件についても検討し、理論的結果を支持する数値的な結果を提供する。
  論文  参考訳（メタデータ） (2021-12-14T04:55:04Z)
• Automated Learning Rate Scheduler for Large-batch Training [24.20872850681828]
  大規模バッチトレーニングは、ディープラーニングにおける大規模データセットとモデルを活用する上で不可欠である。 小規模なバッチトレーニングと同等のパフォーマンスを達成するために、特別に設計された学習率(LR)スケジュールを必要とすることが多い。 本稿では,ニューラルネットワークのトレーニングに有効なLR自動スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-13T05:23:13Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。