論文の概要: ExpTest: Automating Learning Rate Searching and Tuning with Insights from Linearized Neural Networks

• arxiv url: http://arxiv.org/abs/2411.16975v1
• Date: Mon, 25 Nov 2024 22:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:55.480664
• Title: ExpTest: Automating Learning Rate Searching and Tuning with Insights from Linearized Neural Networks
• Title（参考訳）: ExpTest: 線形ニューラルネットワークによる学習速度検索とチューニングの自動化
• Authors: Zan Chaudhry, Naoko Mizuno,
• Abstract要約: 本稿では,初期学習率探索とその後の学習率調整のための高度な手法であるExpTestを提案する。 ExpTestを数学的に正当化し、実証的なサポートを提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Hyperparameter tuning remains a significant challenge for the training of deep neural networks (DNNs), requiring manual and/or time-intensive grid searches, increasing resource costs and presenting a barrier to the democratization of machine learning. The global initial learning rate for DNN training is particularly important. Several techniques have been proposed for automated learning rate tuning during training; however, they still require manual searching for the global initial learning rate. Though methods exist that do not require this initial selection, they suffer from poor performance. Here, we present ExpTest, a sophisticated method for initial learning rate searching and subsequent learning rate tuning for the training of DNNs. ExpTest draws on insights from linearized neural networks and the form of the loss curve, which we treat as a real-time signal upon which we perform hypothesis testing. We mathematically justify ExpTest and provide empirical support. ExpTest requires minimal overhead, is robust to hyperparameter choice, and achieves state-of-the-art performance on a variety of tasks and architectures, without initial learning rate selection or learning rate scheduling.
• Abstract（参考訳）: ハイパーパラメータチューニングは、ディープニューラルネットワーク(DNN)のトレーニング、手動および/または時間集約的なグリッドサーチ、リソースコストの増加、マシンラーニングの民主化への障壁の提示など、依然として重要な課題である。 DNNトレーニングの国際的初等学習率は特に重要である。 トレーニング中の自動学習率チューニングにはいくつかの手法が提案されているが、それでもグローバルな初等学習率を手動で探す必要がある。 この初期選択を必要としないメソッドは存在するが、パフォーマンスの低下に悩まされている。 本稿では,DNNの学習における初期学習率探索とその後の学習率チューニングのための高度な手法であるExpTestを提案する。 ExpTestは、線形化されたニューラルネットワークの洞察と損失曲線の形式に基づいて、仮説テストを行うリアルタイム信号として扱う。 ExpTestを数学的に正当化し、実証的なサポートを提供します。 ExpTestは最小限のオーバーヘッドを必要とし、ハイパーパラメータの選択に対して堅牢であり、学習率の選択や学習率のスケジューリングなしに、さまざまなタスクやアーキテクチャ上で最先端のパフォーマンスを達成する。

関連論文リスト

• Are Sparse Neural Networks Better Hard Sample Learners? [24.2141078613549]
  ディープニューラルネットワークの最適性能において、ハードサンプルは重要な役割を果たす。 挑戦的なサンプルに基づいてトレーニングされたほとんどのSNNは、特定の間隔レベルで精度の高いモデルにマッチしたり、超えたりすることができる。
  論文  参考訳（メタデータ） (2024-09-13T21:12:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning [5.130440339897478]
  ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。 本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。 また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T08:31:03Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Superiorities of Deep Extreme Learning Machines against Convolutional Neural Networks [3.04585143845864]
  deep learning (dl)は、入力データを詳細に分析する人工知能のための機械学習手順である。 DLはグラフィカル処理ユニット機能の一般的な改善で人気がある。 Deep Extreme Learning Machine(Deep ELM)は、迅速な分類問題を解決するための最速かつ効果的な方法の1つです。
  論文  参考訳（メタデータ） (2021-01-21T08:22:18Z)
• Gradient-only line searches to automatically determine learning rates for a variety of stochastic training algorithms [0.0]
  Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。 GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
  論文  参考訳（メタデータ） (2020-06-29T08:59:31Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Improving Learning Efficiency for Wireless Resource Allocation with Symmetric Prior [28.275250620630466]
  本稿では、まず、ドメイン知識を利用するための2つのアプローチのクラスを、数学的モデルの導入とディープラーニングへの事前知識の2つにまとめる。 このような総合的な事前手法が学習効率の向上にどのように活用されているかを説明するために,我々はランク付けを頼りにしている。 システム性能を達成するために必要なトレーニングサンプルは,サブキャリア数やコンテンツ数によって減少することがわかった。
  論文  参考訳（メタデータ） (2020-05-18T07:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。