論文の概要: Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition

• arxiv url: http://arxiv.org/abs/2210.08415v2
• Date: Thu, 27 Apr 2023 21:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 17:41:35.012914
• Title: Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition
• Title（参考訳）: 一様二重化条件下におけるDNNの訓練精度の安定性
• Authors: Yitzchak Shmalo
• Abstract要約: 深層ニューラルネットワーク(DNN)の訓練における精度の安定性について検討する。 精度の安定性を達成するための目標は、ある時点で精度が高い場合、トレーニング全体を通して高い精度を維持することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the stability of accuracy during the training of deep neural networks (DNNs). In this context, the training of a DNN is performed via the minimization of a cross-entropy loss function, and the performance metric is accuracy (the proportion of objects that are classified correctly). While training results in a decrease of loss, the accuracy does not necessarily increase during the process and may sometimes even decrease. The goal of achieving stability of accuracy is to ensure that if accuracy is high at some initial time, it remains high throughout training. A recent result by Berlyand, Jabin, and Safsten introduces a doubling condition on the training data, which ensures the stability of accuracy during training for DNNs using the absolute value activation function. For training data in $\mathbb{R}^n$, this doubling condition is formulated using slabs in $\mathbb{R}^n$ and depends on the choice of the slabs. The goal of this paper is twofold. First, to make the doubling condition uniform, that is, independent of the choice of slabs. This leads to sufficient conditions for stability in terms of training data only. In other words, for a training set $T$ that satisfies the uniform doubling condition, there exists a family of DNNs such that a DNN from this family with high accuracy on the training set at some training time $t_0$ will have high accuracy for all time $t>t_0$. Moreover, establishing uniformity is necessary for the numerical implementation of the doubling condition. The second goal is to extend the original stability results from the absolute value activation function to a broader class of piecewise linear activation functions with finitely many critical points, such as the popular Leaky ReLU.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)の訓練における精度の安定性について検討した。 この文脈において、dnnのトレーニングは、クロスエントロピー損失関数の最小化によって行われ、パフォーマンスメトリックは精度(正しく分類されたオブジェクトの割合)である。 トレーニングの結果、損失は減少するが、プロセス中に精度は必ずしも上昇せず、時には減少することもある。 精度の安定性を達成する目標は、初期段階で精度が高い場合、トレーニング中も高いままであることを保証することである。 berlyand、jabin、safstenによる最近の結果は、絶対値アクティベーション関数を使用してdnnのトレーニング中の精度の安定性を保証するトレーニングデータに2倍の条件を導入する。 この二重化条件は、$\mathbb{r}^n$のトレーニングデータに対して$\mathbb{r}^n$のスラブを用いて定式化され、スラブの選択に依存する。 この論文の目標は二つある。 まず、二重条件を均一にするために、スラブの選択とは独立である。 これにより、トレーニングデータのみの安定性に十分な条件が得られます。 言い換えると、一様二重化条件を満たすトレーニングセット$t$に対して、このファミリーのdnnがトレーニングセットの精度が高く、あるトレーニングタイムのトレーニングセット$t_0$は、すべての時間$t>t_0$で高い精度を持つような一連のdnnが存在する。 さらに、二重化条件の数値化には均一性の確立が必要である。 第2の目標は、絶対値活性化関数から、リーキー ReLU のような有限個の臨界点を持つより広範な一方向線型活性化関数へと元の安定性結果を拡張することである。

関連論文リスト

• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Stability Analysis and Generalization Bounds of Adversarial Training [31.50956388020211]
  逆機械学習では、ディープニューラルネットワークはトレーニングデータセット上の敵の例に適合するが、テストセット上での一般化は不十分である。 この現象はロバストオーバーフィッティングと呼ばれ、共通のデータセット上でニューラルネットを敵対的にトレーニングする場合に観察することができる。
  論文  参考訳（メタデータ） (2022-10-03T14:21:46Z)
• Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability [40.17821914923602]
  安定性の端における勾配降下は、制約$S(theta) le 2/eta$ の下で、投影勾配降下 (PGD) に暗黙的に従うことを示す。 本分析は, PGD軌道からの損失, 鋭さ, 偏差を, トレーニングを通して正確に予測する。
  論文  参考訳（メタデータ） (2022-09-30T17:15:12Z)
• Training Neural Networks in Single vs Double Precision [8.036150169408241]
  共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。 実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。 強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
  論文  参考訳（メタデータ） (2022-09-15T11:20:53Z)
• Memorize to Generalize: on the Necessity of Interpolation in High Dimensional Linear Regression [6.594338220264161]
  機械学習問題における最適な予測リスクを達成するには、トレーニングデータを補間する必要がある。 この設定では、トレーニングエラーで予測(テスト)エラーが必ずスケールするかを特徴付ける。 最適な性能には、問題の固有のノイズフロアよりもかなり高い精度でトレーニングデータを取り付ける必要がある。
  論文  参考訳（メタデータ） (2022-02-20T18:51:45Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Stability for the Training of Deep Neural Networks and Other Classifiers [0.9558392439655015]
  我々は安定性の概念を定式化し、不安定性の例を示す。 トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
  論文  参考訳（メタデータ） (2020-02-10T22:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。