論文の概要: Gradient-only line searches to automatically determine learning rates
for a variety of stochastic training algorithms
- arxiv url: http://arxiv.org/abs/2007.01054v1
- Date: Mon, 29 Jun 2020 08:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:21:11.050245
- Title: Gradient-only line searches to automatically determine learning rates
for a variety of stochastic training algorithms
- Title（参考訳）: 様々な確率的学習アルゴリズムの学習率を自動的に決定する勾配専用線探索
- Authors: Dominic Kafka and Daniel Nicolas Wilke
- Abstract要約: Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。
GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient-only and probabilistic line searches have recently reintroduced the
ability to adaptively determine learning rates in dynamic mini-batch
sub-sampled neural network training. However, stochastic line searches are
still in their infancy and thus call for an ongoing investigation. We study the
application of the Gradient-Only Line Search that is Inexact (GOLS-I) to
automatically determine the learning rate schedule for a selection of popular
neural network training algorithms, including NAG, Adagrad, Adadelta, Adam and
LBFGS, with numerous shallow, deep and convolutional neural network
architectures trained on different datasets with various loss functions. We
find that GOLS-I's learning rate schedules are competitive with manually tuned
learning rates, over seven optimization algorithms, three types of neural
network architecture, 23 datasets and two loss functions. We demonstrate that
algorithms, which include dominant momentum characteristics, are not well
suited to be used with GOLS-I. However, we find GOLS-I to be effective in
automatically determining learning rate schedules over 15 orders of magnitude,
for most popular neural network training algorithms, effectively removing the
need to tune the sensitive hyperparameters of learning rate schedules in neural
network training.
- Abstract（参考訳）: 勾配のみおよび確率的ライン検索は、最近、動的ミニバッチサブサンプリングニューラルネットワークトレーニングで学習率を適応的に決定する能力を再導入した。
しかし、確率線探索はまだ初期段階であり、現在進行中の調査を要求する。
nag, adagrad, adadelta, adam, lbfgsなど,さまざまな損失関数を持つ異なるデータセットでトレーニングされた多数の浅層,深層,畳み込みニューラルネットワークアーキテクチャを備えた,一般的なニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを自動的に決定するために,不必要(gols-i)である勾配のみの行探索の適用について検討した。
GOLS-Iの学習率スケジュールは、手作業によるチューニングされた学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合している。
支配的な運動量特性を含むアルゴリズムはGOLS-Iでの使用には適していないことを示す。
しかし、最も一般的なニューラルネットワークトレーニングアルゴリズムでは、GOLS-Iは15桁以上の学習率スケジュールを自動的に決定し、ニューラルネットワークトレーニングにおける学習率スケジュールの感度の高いハイパーパラメータを調整する必要性を効果的に除去する。
関連論文リスト
- Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits [9.361762652324968]
適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。
本稿では,ニューラルネットワークの学習速度を調整するためのLipschitz bandit-drivenアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-15T16:21:55Z) - Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - Why Line Search when you can Plane Search? SO-Friendly Neural Networks allow Per-Iteration Optimization of Learning and Momentum Rates for Every Layer [9.849498498869258]
我々は、実際に使用されるいくつかのモデルを含む、SOフレンドリーなニューラルネットワークのクラスを紹介する。
ステップサイズを設定するために正確な行探索を行う場合、固定学習を使用する場合と同じコストがかかる。
同じコストで、各ステップでの学習率と運動量率を設定するために、プレーン検索が使用できる。
論文 参考訳（メタデータ） (2024-06-25T22:06:40Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler
for Neural Networks [51.71682428015139]
効率的なテンソルプログラム探索のための強化学習に基づく自動スケジューリングシステムであるHARLを提案する。
HarLは、最先端のオートスケジューラと比較して、テンソル演算子の性能を22%改善し、探索速度を4.3倍改善する。
また、エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
論文 参考訳（メタデータ） (2022-11-21T04:15:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Dynamic Analysis of Nonlinear Civil Engineering Structures using
Artificial Neural Network with Adaptive Training [2.1202971527014287]
本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。
実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
論文 参考訳（メタデータ） (2021-11-21T21:14:48Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳（メタデータ） (2020-08-25T15:48:15Z) - VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
論文 参考訳（メタデータ） (2020-07-12T21:47:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。