論文の概要: kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks

• arxiv url: http://arxiv.org/abs/2004.05909v5
• Date: Tue, 22 Mar 2022 02:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:36:00.749644
• Title: kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks
• Title（参考訳）: kdecay: ニューラルネットワークを改善するために学習率スケジュールにk-decay項目を追加する
• Authors: Tao Zhang, Wei Li
• Abstract要約: k-decayは、よく使われるLRスケジュールの性能を効果的に改善する。 我々は、異なるニューラルネットワークを用いたCIFARおよびImageNetデータセットにおけるk-decay法の評価を行った。 精度はCIFAR-10データセットで1.08%、CIFAR-100データセットで2.07%向上した。
• 参考スコア（独自算出の注目度）: 5.541389959719384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that optimizing the Learning Rate (LR) schedule can be a very accurate and efficient way to train deep neural networks. We observe that the rate of change (ROC) of LR has correlation with the training process, but how to use this relationship to control the training to achieve the purpose of improving accuracy? We propose a new method, k-decay, just add an extra item to the commonly used and easy LR schedule(exp, cosine and polynomial), is effectively improves the performance of these schedule, also better than the state-of-the-art algorithms of LR shcedule such as SGDR, CLR and AutoLRS. In the k-decay, by adjusting the hyper-parameter \(k\), to generate different LR schedule, when k increases, the performance is improved. We evaluate the k-decay method on CIFAR And ImageNet datasets with different neural networks (ResNet, Wide ResNet). Our experiments show that this method can improve on most of them. The accuracy has been improved by 1.08\% on the CIFAR-10 dataset and by 2.07 \% on the CIFAR-100 dataset. On the ImageNet, accuracy is improved by 1.25\%. Our method is not only a general method to be applied other LR Shcedule, but also has no additional computational cost.
• Abstract（参考訳）: 近年の研究では、学習率(LR)スケジュールの最適化が、ディープニューラルネットワークをトレーニングするための非常に正確で効率的な方法であることが示されている。 LRの変化率(ROC)はトレーニングプロセスと相関するが,この関係を用いてトレーニングを制御し,精度の向上を図るにはどうすればよいのか。 そこで我々は,一般的なLRスケジュール(exp, cosine, polynomial)に余分な項目を追加する新しい手法k-decayを提案し,これらのスケジュールの性能をSGDR,CLR,AutoLRSといったLRスケジュールの最先端アルゴリズムよりも効果的に向上させる。 kデカイでは、ハイパーパラメータ \(k\) を調整して異なるLRスケジュールを生成することにより、kが増加すると性能が向上する。 異なるニューラルネットワーク(resnet, wide resnet)を用いたcifarおよびimagenetデータセットのk-decay法を評価した。 我々の実験は、この方法がほとんどの点で改善できることを示しています。 精度はCIFAR-10データセットで1.08\%、CIFAR-100データセットで2.07 \%向上した。 ImageNetでは精度が1.25\%向上している。 本手法は他の lr shcedule に適用する一般的な手法であるだけでなく, 計算コストも高くない。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Selecting and Composing Learning Rate Policies for Deep Neural Networks [10.926538783768219]
  本稿では,効率的なディープニューラルネットワーク(DNN)トレーニングのためのLRポリシーの選択と構成に関する体系的なアプローチを提案する。 本研究では,所定のLRポリシーを予め定義されたトレーニング時間制約の下で,所望の精度目標に対して自動検証するLRチューニング機構を開発する。 第2に、動的チューニングにより、同一および/または異なるLR関数から優れたLRポリシーを選択し、構成するためのLRポリシーレコメンデーションシステム(LRBench)を開発する。 第3に、異なるDNNをサポートすることによりLRBenchを拡張し、異なるLRポリシーと異なるポリシーによる大きな相互影響を示す。
  論文  参考訳（メタデータ） (2022-10-24T03:32:59Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Convolutional Neural Network Training with Distributed K-FAC [14.2773046188145]
  Kronecker-factored Approximate Curvature (K-FAC)はFisher Information Matrixの近似として最近提案されている。 本稿では、大規模畳み込みニューラルネットワーク(CNN)トレーニングにおけるスケーラブルなK-FAC設計とその適用性について検討する。
  論文  参考訳（メタデータ） (2020-07-01T22:00:53Z)
• Cross-Scale Internal Graph Neural Network for Image Super-Resolution [147.77050877373674]
  自然画像における非局所的な自己相似性は、画像修復に有効な先行研究として、よく研究されている。 単一の画像超解像(SISR)の場合、既存のディープ非局所法のほとんどは、低解像度(LR)入力画像と同じ規模のパッチしか利用していない。 これは、新しいクロススケールな内部グラフニューラルネットワーク(IGNN)を用いて実現される。
  論文  参考訳（メタデータ） (2020-06-30T10:48:40Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)
• ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
  我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。 この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。 トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
  論文  参考訳（メタデータ） (2020-02-25T09:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。