Fugu-MT 論文翻訳(概要): Cyclical Log Annealing as a Learning Rate Scheduler

論文の概要: Cyclical Log Annealing as a Learning Rate Scheduler

arxiv url: http://arxiv.org/abs/2403.14685v1
Date: Wed, 13 Mar 2024 14:07:20 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 03:23:33.658565
Title: Cyclical Log Annealing as a Learning Rate Scheduler
Title（参考訳）: 学習速度スケジューリング器としての循環ログアニーリング
Authors: Philip Naveen,
Abstract要約: 学習率スケジューラ(英: learning rate scheduler)とは、モデル学習過程において、様々な探索ステップの指示セットである。本稿では,降下勾配を通したステップサイズを過度に再起動する手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A learning rate scheduler is a predefined set of instructions for varying search stepsizes during model training processes. This paper introduces a new logarithmic method using harsh restarting of step sizes through stochastic gradient descent. Cyclical log annealing implements the restart pattern more aggressively to maybe allow the usage of more greedy algorithms on the online convex optimization framework. The algorithm was tested on the CIFAR-10 image datasets, and seemed to perform analogously with cosine annealing on large transformer-enhanced residual neural networks. Future experiments would involve testing the scheduler in generative adversarial networks and finding the best parameters for the scheduler with more experiments.
Abstract（参考訳）: 学習率スケジューラは、モデルトレーニング過程において、様々な探索ステップサイズのための事前定義された命令セットである。本稿では,確率勾配勾配を経たステップサイズを過度に再起動する手法を提案する。サイクリックログアニールは、オンライン凸最適化フレームワークでよりグレディなアルゴリズムの使用を可能にするために、再起動パターンをより積極的に実装する。このアルゴリズムは、CIFAR-10画像データセットでテストされ、大きなトランスフォーマー強化残留ニューラルネットワーク上で、コサインアニールと類似して動作するように見えた。将来の実験では、生成的敵ネットワークにおけるスケジューラのテストと、より多くの実験でスケジューラに最適なパラメータを見つけることが含まれる。

関連論文リスト

Ordering for Non-Replacement SGD [7.11967773739707]
我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
論文参考訳（メタデータ） (2023-06-28T00:46:58Z)
Composite FORCE learning of chaotic echo state networks for time-series prediction [7.650966670809372]
本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
論文参考訳（メタデータ） (2022-07-06T03:44:09Z)
Optimizing Convergence for Iterative Learning of ARIMA for Stationary Time Series [1.9444242128493845]
この研究は、近年ニューラルネットワークの学習に普及した計算コストの低いOnline Gradient Descent最適化方法に焦点を当てている。異なるオンライングラデーション学習者(Adam、AMSGrad、Adagrad、Nesterovなど)を組み合わせた新しいアプローチを提案し、迅速な収束を実現します。
論文参考訳（メタデータ） (2021-01-25T12:07:46Z)
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文参考訳（メタデータ） (2020-11-05T14:57:16Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation [8.340191147575307]
我々は,潜在ガウス過程と自己回帰的定式化に基づく,オプティマイザのトレースに対する元の確率モデルを導入する。新しい学習率値によって引き起こされる行動の急激な変化に柔軟に調整する。まず、コールドスタート実行のための学習率のオンライン適応のために、次に、同様のタスクセットのスケジュールを調整し、新しいタスクのためにウォームスタートするために、一連の問題に取り組むのが適しています。
論文参考訳（メタデータ） (2020-06-25T13:18:18Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文参考訳（メタデータ） (2020-03-15T21:36:46Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)
Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。