論文の概要: Tune smarter not harder: A principled approach to tuning learning rates for shallow nets

• arxiv url: http://arxiv.org/abs/2003.09844v3
• Date: Wed, 30 Sep 2020 02:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:26:12.677082
• Title: Tune smarter not harder: A principled approach to tuning learning rates for shallow nets
• Title（参考訳）: tune smarter not harder: 浅いネットの学習率を原理的に調整するアプローチ
• Authors: Thulasi Tholeti, Sheetal Kalyani
• Abstract要約: 浅いフィードフォワードニューラルネットワークに対して,学習率を選択するための原則的アプローチを提案する。 シミュレーションにより,提案手法が既存のチューニング手法よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.203765985718201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective hyper-parameter tuning is essential to guarantee the performance that neural networks have come to be known for. In this work, a principled approach to choosing the learning rate is proposed for shallow feedforward neural networks. We associate the learning rate with the gradient Lipschitz constant of the objective to be minimized while training. An upper bound on the mentioned constant is derived and a search algorithm, which always results in non-divergent traces, is proposed to exploit the derived bound. It is shown through simulations that the proposed search method significantly outperforms the existing tuning methods such as Tree Parzen Estimators (TPE). The proposed method is applied to three different existing applications: a) channel estimation in OFDM systems, b) prediction of the exchange currency rates and c) offset estimation in OFDM receivers, and it is shown to pick better learning rates than the existing methods using the same or lesser compute power.
• Abstract（参考訳）: ニューラルネットワークの既知のパフォーマンスを保証するためには,効果的なハイパーパラメータチューニングが不可欠だ。 本研究では,浅層フィードフォワードニューラルネットワークに対して,学習率選択のための原理的アプローチを提案する。 学習率と学習中の目標の勾配リプシッツ定数を関連付ける。 上記の定数の上界が導出され、常に非発散トレースとなる探索アルゴリズムが導出境界を利用するために提案される。 提案手法は,木パルゼン推定器 (tree parzen estimator, tpe) のような既存のチューニング手法を大きく上回っている。 提案手法は3つの既存アプリケーションに適用される。 a) OFDMシステムにおけるチャネル推定 b)為替レートの予測及び c)OFDM受信機におけるオフセット推定を行い、同一またはより少ない計算パワーを用いた既存手法よりも学習率の向上が示されている。

関連論文リスト

• Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation [8.683798989767771]
  最近の知見は、ディープスパイキングニューラルネットワーク(SNN)のトレーニングにおいて、レートコーディングが代理段階に基づくバックプロパゲーション・アット・タイム(BPTT)によって取得される情報表現の第一形態であることを明らかにしている。 本稿では、BPTTの複雑さを軽減するために、レートベースの表現を活用するために特別に設計されたトレーニング戦略である、レートベースのバックプロパゲーションを提案する。 提案手法は,SNNの学習におけるメモリと計算要求を減らすために,計算グラフの合理化を図り,平均的ダイナミクスに焦点をあてることで,詳細な時間微分への依存を最小限に抑える。
  論文  参考訳（メタデータ） (2024-10-15T10:46:03Z)
• Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits [9.361762652324968]
  適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。 本稿では,ニューラルネットワークの学習速度を調整するためのLipschitz bandit-drivenアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-15T16:21:55Z)
• Optimization of Iterative Blind Detection based on Expectation Maximization and Belief Propagation [29.114100423416204]
  ブロックフェーディング線形シンボルチャネルに対するブラインドシンボル検出法を提案する。 本研究では,研究予測アルゴリズムとユビキタスな信条伝搬アルゴリズムを組み合わせた共同チャネル推定・検出手法を設計する。 提案手法は,効率よく一般化したスケジュールを学習し,高信号対雑音シナリオにおけるコヒーレントBP検出よりも優れることを示す。
  論文  参考訳（メタデータ） (2024-08-05T08:45:50Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
  大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。 一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。 本稿では2つの新しい推定法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:42:32Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• An improved online learning algorithm for general fuzzy min-max neural network [11.631815277762257]
  本稿では,一般ファジィmin-maxニューラルネット(GFMM)のための現在のオンライン学習アルゴリズムの改良版を提案する。 提案手法では、重なり合うハイパーボックスの収縮過程は使用せず、エラー率を増大させる可能性が高い。 オンライン学習アルゴリズムでは,トレーニングサンプルの提示順序に対する感度を低減するために,簡単なアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T06:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。