論文の概要: Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits

• arxiv url: http://arxiv.org/abs/2409.09783v1
• Date: Sun, 15 Sep 2024 16:21:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:30:41.919888
• Title: Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits
• Title（参考訳）: リプシッツ帯域を用いたディープニューラルネットワークの学習速度最適化
• Authors: Padma Priyanka, Sheetal Kalyani, Avhishek Chatterjee,
• Abstract要約: 適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。 本稿では,ニューラルネットワークの学習速度を調整するためのLipschitz bandit-drivenアプローチを提案する。
• 参考スコア（独自算出の注目度）: 9.361762652324968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning rate is a crucial parameter in training of neural networks. A properly tuned learning rate leads to faster training and higher test accuracy. In this paper, we propose a Lipschitz bandit-driven approach for tuning the learning rate of neural networks. The proposed approach is compared with the popular HyperOpt technique used extensively for hyperparameter optimization and the recently developed bandit-based algorithm BLiE. The results for multiple neural network architectures indicate that our method finds a better learning rate using a) fewer evaluations and b) lesser number of epochs per evaluation, when compared to both HyperOpt and BLiE. Thus, the proposed approach enables more efficient training of neural networks, leading to lower training time and lesser computational cost.
• Abstract（参考訳）: 学習率はニューラルネットワークのトレーニングにおいて重要なパラメータである。 適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。 本稿では,ニューラルネットワークの学習率を調整するためのLipschitz bandit-drivenアプローチを提案する。 提案手法は,ハイパーパラメータ最適化に広く用いられているHyperOpt手法と,最近開発されたBliEアルゴリズムとの比較を行った。 複数のニューラルネットワークアーキテクチャの結果から,本手法が学習率の向上に寄与することが示唆された。 a) 評価が少なくなること b)HyperOptおよびBLiEと比較して評価毎のエポック数が少ない。 したがって、提案手法により、ニューラルネットワークのより効率的なトレーニングが可能となり、トレーニング時間が短縮され、計算コストが低減される。

関連論文リスト

• Enhanced quantum state preparation via stochastic prediction of neural network [0.8287206589886881]
  本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。 本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。 ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
  論文  参考訳（メタデータ） (2023-07-27T09:11:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Accelerated learning algorithms of general fuzzy min-max neural network using a novel hyperbox selection rule [9.061408029414455]
  本稿では,一般ファジィmin-maxニューラルネットワークの学習過程を高速化する手法を提案する。 提案手法は分岐結合解を形成する数学的公式に基づいている。 実験結果から,オンライン学習アルゴリズムと集約学習アルゴリズムの両方において,提案手法の学習時間の大幅な短縮が示された。
  論文  参考訳（メタデータ） (2020-03-25T11:26:18Z)
• Tune smarter not harder: A principled approach to tuning learning rates for shallow nets [13.203765985718201]
  浅いフィードフォワードニューラルネットワークに対して,学習率を選択するための原則的アプローチを提案する。 シミュレーションにより,提案手法が既存のチューニング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-22T09:38:35Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。