論文の概要: Selecting and Composing Learning Rate Policies for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2210.12936v1
• Date: Mon, 24 Oct 2022 03:32:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:21:40.759437
• Title: Selecting and Composing Learning Rate Policies for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのための学習率ポリシの選択と構成
• Authors: Yanzhao Wu, Ling Liu
• Abstract要約: 本稿では,効率的なディープニューラルネットワーク(DNN)トレーニングのためのLRポリシーの選択と構成に関する体系的なアプローチを提案する。 本研究では,所定のLRポリシーを予め定義されたトレーニング時間制約の下で,所望の精度目標に対して自動検証するLRチューニング機構を開発する。 第2に、動的チューニングにより、同一および/または異なるLR関数から優れたLRポリシーを選択し、構成するためのLRポリシーレコメンデーションシステム(LRBench)を開発する。 第3に、異なるDNNをサポートすることによりLRBenchを拡張し、異なるLRポリシーと異なるポリシーによる大きな相互影響を示す。
• 参考スコア（独自算出の注目度）: 10.926538783768219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The choice of learning rate (LR) functions and policies has evolved from a simple fixed LR to the decaying LR and the cyclic LR, aiming to improve the accuracy and reduce the training time of Deep Neural Networks (DNNs). This paper presents a systematic approach to selecting and composing an LR policy for effective DNN training to meet desired target accuracy and reduce training time within the pre-defined training iterations. It makes three original contributions. First, we develop an LR tuning mechanism for auto-verification of a given LR policy with respect to the desired accuracy goal under the pre-defined training time constraint. Second, we develop an LR policy recommendation system (LRBench) to select and compose good LR policies from the same and/or different LR functions through dynamic tuning, and avoid bad choices, for a given learning task, DNN model and dataset. Third, we extend LRBench by supporting different DNN optimizers and show the significant mutual impact of different LR policies and different optimizers. Evaluated using popular benchmark datasets and different DNN models (LeNet, CNN3, ResNet), we show that our approach can effectively deliver high DNN test accuracy, outperform the existing recommended default LR policies, and reduce the DNN training time by 1.6$\sim$6.7$\times$ to meet a targeted model accuracy.
• Abstract（参考訳）: 学習率(LR)関数とポリシーの選択は、単純な固定LRから減衰LRと循環LRへと進化し、Deep Neural Networks(DNN)の精度を改善し、トレーニング時間を短縮することを目指している。 本稿では, DNN 訓練における LR ポリシーの選択と構成に関する体系的なアプローチを提案し, 目標精度を満足し, 事前定義された訓練イテレーションにおけるトレーニング時間を短縮する。 3つのオリジナル・コントリビューションがある。 まず、予め定義されたトレーニング時間制約の下で、所望の精度目標に対して、所定のLRポリシーを自動検証するためのLRチューニング機構を開発する。 第2に,各学習課題,DNNモデル,データセットに対して,動的チューニングを通じて,同一および/又は異なるLR関数から優れたLRポリシーを選択し,構成するLRポリシー推薦システム(LRBench)を開発する。 第三に、異なるDNNオプティマイザをサポートしてLRBenchを拡張し、異なるLRポリシーと異なるオプティマイザの相互影響を示す。 一般的なベンチマークデータセットと異なるDNNモデル(LeNet、CNN3、ResNet)を用いて評価した結果、我々のアプローチは、DNNテストの精度を効果的に提供し、既存の推奨デフォルトLRポリシーを上回り、ターゲットモデル精度を満たすためにDNNトレーニング時間を1.6$\sim$6.7$\times$に削減できることが示されている。

関連論文リスト

• Where Do Large Learning Rates Lead Us? [5.305784285588872]
  小さいLRや重量平均値で微調整を行った結果,初期LRの幅が狭いだけで最適な結果が得られた。 これらの初期LRは、タスクに最も関係のある機能に明確に焦点を合わせながら、学習された機能の集合を疎結合にしていることを示す。 対照的に、LRが小さすぎると不安定な最小化が生じ、全ての特徴を同時に学習しようと試み、その結果一般化が不十分になる。
  論文  参考訳（メタデータ） (2024-10-29T15:14:37Z)
• ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer [68.72454974431749]
  本稿では、拡散に基づく実世界の超解像(Real-ISR)に対する潜在低分解能画像(LR)埋め込みの利点を活かす新しい手法であるClearSRを提案する。 提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
  論文  参考訳（メタデータ） (2024-10-18T08:35:57Z)
• Boosting Deep Ensembles with Learning Rate Tuning [1.6021932740447968]
  学習率(LR)は、ディープラーニングトレーニングのパフォーマンスに高い影響を与える。 本稿では,学習率を効果的に調整し,深層アンサンブル性能を向上させるための新しいフレームワークであるLREnsembleを提案する。
  論文  参考訳（メタデータ） (2024-10-10T02:59:38Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• AutoLRS: Automatic Learning-Rate Schedule by Bayesian Optimization on the Fly [22.754424957856052]
  本稿では,訓練段階ごとの学習率を自動的に最適化するAutoLRSを提案する。 本稿では,多様な領域における訓練課題の広範な実験を通じて,AutoLRSの利点と汎用性を実証する。
  論文  参考訳（メタデータ） (2021-05-22T16:41:10Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks [5.541389959719384]
  k-decayは、よく使われるLRスケジュールの性能を効果的に改善する。 我々は、異なるニューラルネットワークを用いたCIFARおよびImageNetデータセットにおけるk-decay法の評価を行った。 精度はCIFAR-10データセットで1.08%、CIFAR-100データセットで2.07%向上した。
  論文  参考訳（メタデータ） (2020-04-13T12:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。