論文の概要: Stability for the Training of Deep Neural Networks and Other Classifiers
- arxiv url: http://arxiv.org/abs/2002.04122v3
- Date: Thu, 1 Oct 2020 21:16:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 09:49:30.937165
- Title: Stability for the Training of Deep Neural Networks and Other Classifiers
- Title（参考訳）: ディープニューラルネットワークと他の分類器の訓練における安定性
- Authors: Leonid Berlyand, Pierre-Emmanuel Jabin, C. Alex Safsten
- Abstract要約: 我々は安定性の概念を定式化し、不安定性の例を示す。
トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
- 参考スコア（独自算出の注目度）: 0.9558392439655015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine the stability of loss-minimizing training processes that are used
for deep neural networks (DNN) and other classifiers. While a classifier is
optimized during training through a so-called loss function, the performance of
classifiers is usually evaluated by some measure of accuracy, such as the
overall accuracy which quantifies the proportion of objects that are well
classified. This leads to the guiding question of stability: does decreasing
loss through training always result in increased accuracy? We formalize the
notion of stability, and provide examples of instability. Our main result
consists of two novel conditions on the classifier which, if either is
satisfied, ensure stability of training, that is we derive tight bounds on
accuracy as loss decreases. We also derive a sufficient condition for stability
on the training set alone, identifying flat portions of the data manifold as
potential sources of instability. The latter condition is explicitly verifiable
on the training dataset. Our results do not depend on the algorithm used for
training, as long as loss decreases with training.
- Abstract（参考訳）: 本研究では,ディープニューラルネットワーク(dnn)や他の分類器に用いられる損失最小化トレーニングプロセスの安定性について検討する。
分類器は、いわゆる損失関数を通して訓練中に最適化されるが、分類器の性能は、よく分類された対象の比率を定量化する全体的な精度など、いくつかの精度で評価される。
トレーニングによる損失の減少は,常に正確性の向上につながるのだろうか?
我々は安定性の概念を定式化し、不安定性の例を示す。
我々の主な結果は分類器上の2つの新しい条件から成り、どちらの条件も満足すれば訓練の安定性を保証し、損失が減少するにつれて精度の厳密な境界を導出する。
また,データ多様体の平坦な部分を不安定性の潜在的な源として同定し,トレーニングセットのみの安定条件を導出する。
後者の条件はトレーニングデータセット上で明示的に検証可能である。
トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。
クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。
バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
論文 参考訳（メタデータ） (2023-12-05T05:52:44Z) - Measuring and Mitigating Local Instability in Deep Neural Networks [23.342675028217762]
モデルが同じデータ上で再トレーニングされた場合でも,トレーニングプロセスにおける原理性の結果,モデルがどう変化するかを検討する。
自然言語理解(NLU)タスクでは,クエリのかなりの部分の予測が不安定であることがわかった。
局所的な安定性を推定する新たなデータ中心手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T00:34:15Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Confidence-aware Training of Smoothed Classifiers for Certified
Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。
実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文 参考訳（メタデータ） (2022-12-18T03:57:12Z) - Stability of Accuracy for the Training of DNNs Via the Uniform Doubling
Condition [0.0]
深層ニューラルネットワーク(DNN)の訓練における精度の安定性について検討する。
精度の安定性を達成するための目標は、ある時点で精度が高い場合、トレーニング全体を通して高い精度を維持することである。
論文 参考訳（メタデータ） (2022-10-16T02:42:42Z) - Utilizing Class Separation Distance for the Evaluation of Corruption
Robustness of Machine Learning Classifiers [0.6882042556551611]
本稿では,最小クラス分離距離のデータセットから得られるロバストネス距離$epsilon$を使用するテストデータ拡張手法を提案する。
結果として得られるMSCRメトリックは、その破損の堅牢性に関して異なる分類器のデータセット固有の比較を可能にする。
以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
論文 参考訳（メタデータ） (2022-06-27T15:56:16Z) - Training ReLU networks to high uniform accuracy is intractable [7.723983475351976]
与えられた一様精度を保証するために,任意の学習アルゴリズムに必要なトレーニングサンプル数を定量化する。
我々は、ReLUニューラルネットワークを高精度にトレーニングすることは難解であると結論付けた。
論文 参考訳（メタデータ） (2022-05-26T17:50:55Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Gradient Descent on Neural Networks Typically Occurs at the Edge of
Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。
この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文 参考訳（メタデータ） (2021-02-26T22:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。