論文の概要: Statistically Significant Stopping of Neural Network Training
- arxiv url: http://arxiv.org/abs/2103.01205v1
- Date: Mon, 1 Mar 2021 18:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:30:53.437611
- Title: Statistically Significant Stopping of Neural Network Training
- Title（参考訳）: 統計的に有意なニューラルネットワークトレーニング停止
- Authors: Justin K. Terry, Mario Jayakumar, Kusal De Alwis
- Abstract要約: ニューラルネットワークが学習を停止したかどうかを判断するための統計的意義テストについて紹介する。
我々はこれを新しい学習率スケジューラの基礎として利用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The general approach taken when training deep learning classifiers is to save
the parameters after every few iterations, train until either a human observer
or a simple metric-based heuristic decides the network isn't learning anymore,
and then backtrack and pick the saved parameters with the best validation
accuracy. Simple methods are used to determine if a neural network isn't
learning anymore because, as long as it's well after the optimal values are
found, the condition doesn't impact the final accuracy of the model. However
from a runtime perspective, this is of great significance to the many cases
where numerous neural networks are trained simultaneously (e.g. hyper-parameter
tuning). Motivated by this, we introduce a statistical significance test to
determine if a neural network has stopped learning. This stopping criterion
appears to represent a happy medium compared to other popular stopping
criterions, achieving comparable accuracy to the criterions that achieve the
highest final accuracies in 77% or fewer epochs, while the criterions which
stop sooner do so with an appreciable loss to final accuracy. Additionally, we
use this as the basis of a new learning rate scheduler, removing the need to
manually choose learning rate schedules and acting as a quasi-line search,
achieving superior or comparable empirical performance to existing methods.
- Abstract（参考訳）: ディープラーニング分類器をトレーニングする際の一般的なアプローチは、数イテレーション毎にパラメータを保存し、人間のオブザーバか単純なメトリックベースのヒューリスティックがネットワークがもはや学習していないと判断するまでトレーニングし、最適な検証精度で保存されたパラメータをバックトラックして選択する。
ニューラルネットワークが学習していないかどうかを判断するために、単純な方法が使用されます。なぜなら、最適な値が見つかった後、条件がモデルの最終的な精度に影響を与えないからです。
しかし、ランタイムの観点から見ると、これは多数のニューラルネットワークが同時に訓練されるケース(例えば)にとって非常に重要なことだ。
ハイパーパラメータチューニング)。
そこで本研究では,ニューラルネットワークが学習を停止したかどうかを判断するための統計的意義テストを提案する。
この停止基準は、他の一般的な停止基準と比べて幸福な媒体であり、77%以下のエポックで最高到達確率を達成する基準に匹敵する精度を示し、より早く停止する基準は最終的な正確さに満足できる損失をもたらす。
さらに、これを新しい学習率スケジューラのベースとして使用し、学習率スケジュールを手動で選択する必要をなくし、準直線探索として振る舞うことにより、既存の手法に匹敵する経験的性能を達成する。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - The Unreasonable Effectiveness Of Early Discarding After One Epoch In Neural Network Hyperparameter Optimization [10.93405937763835]
廃棄の積極性と予測性能の損失とのトレードオフについて検討する。
このアプローチをi-Epoch(ニューラルネットワークをトレーニングするエポックの定数)と呼び、早期破棄技術の品質を評価することを提案する。
論文 参考訳（メタデータ） (2024-04-05T14:08:57Z) - Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free
Ensembles of DNNs [9.010643838773477]
本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。
オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。
我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
論文 参考訳（メタデータ） (2023-10-17T09:22:22Z) - Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for
XOR Data [24.86314525762012]
勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。
以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
論文 参考訳（メタデータ） (2023-10-03T11:31:37Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Incremental Deep Neural Network Learning using Classification Confidence
Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。
本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文 参考訳（メタデータ） (2021-06-21T22:46:28Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - Deep Learning and Statistical Models for Time-Critical Pedestrian
Behaviour Prediction [5.593571255686115]
ニューラルネットワークモデルは80%の精度を達成するが、これを達成するには長いシーケンスを必要とする(100サンプル以上)。
SLDSは精度が74%低いが、短いシーケンス(10サンプル)でこの結果が得られる。
結果は、時間的臨界問題におけるモデルの適合性に関する重要な直感を与える。
論文 参考訳（メタデータ） (2020-02-26T00:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。