論文の概要: Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition

• arxiv url: http://arxiv.org/abs/2210.08415v1
• Date: Sun, 16 Oct 2022 02:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 21:42:10.038424
• Title: Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition
• Title（参考訳）: 一様二重化条件下におけるDNNの訓練精度の安定性
• Authors: Yitzchak Shmalo
• Abstract要約: 深層ニューラルネットワークのトレーニングにおける精度の安定性について検討する。 Rn$のトレーニングデータに対して、この二重化条件は$Rn$のスラブを使って定式化され、スラブの選択に依存する。 本論文の目的は2つであり、まず、スラブの選択に独立して2倍条件を均一にすることであり、トレーニングデータのみの安定性に十分な条件を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the stability of accuracy for the training of deep neural networks. Here the training of a DNN is preformed via the minimization of a cross-entropy loss function and the performance metric is the accuracy (the proportion of objects classified correctly). While training amounts to the decrease of loss, the accuracy does not necessarily increase during the training. A recent result by Berlyand, Jabin and Safsten introduces a doubling condition on the training data which ensures the stability of accuracy during training for DNNs with the absolute value activation function. For training data in $\R^n$, this doubling condition is formulated using slabs in $\R^n$ and it depends on the choice of the slabs. The goal of this paper is twofold. First to make the doubling condition uniform, that is independent on the choice of slabs leading to sufficient conditions for stability in terms of training data only. Second to extend the original stability results for the absolute value activation function to a broader class of piecewise linear activation function with finitely many critical points such as the popular Leaky ReLU.
• Abstract（参考訳）: 深層ニューラルネットワークのトレーニングにおける精度の安定性について検討する。 ここで、DNNのトレーニングは、クロスエントロピー損失関数の最小化によってプリフォームされ、性能指標は精度(正しく分類されたオブジェクトの割合)である。 トレーニングは損失の減少につながるが、トレーニング中に必ずしも正確さが増すとは限らない。 berlyand、jabin、safstenによる最近の結果は、絶対値アクティベーション関数を持つdnnのトレーニング中の精度の安定性を保証するトレーニングデータに2倍の条件を導入する。 トレーニングデータは$\r^n$で、この2倍条件は$\r^n$のスラブを用いて定式化され、スラブの選択に依存する。 この論文の目標は二つある。 まず,2倍条件を均等にすることで,トレーニングデータのみの安定性の十分条件となるスラブの選択に依存しない。 第2に、絶対値活性化関数の元の安定性を、リーキー ReLU のような有限個の臨界点を持つより広い一方向線型活性化関数のクラスに拡張する。

関連論文リスト

• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Stability Analysis and Generalization Bounds of Adversarial Training [31.50956388020211]
  逆機械学習では、ディープニューラルネットワークはトレーニングデータセット上の敵の例に適合するが、テストセット上での一般化は不十分である。 この現象はロバストオーバーフィッティングと呼ばれ、共通のデータセット上でニューラルネットを敵対的にトレーニングする場合に観察することができる。
  論文  参考訳（メタデータ） (2022-10-03T14:21:46Z)
• Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability [40.17821914923602]
  安定性の端における勾配降下は、制約$S(theta) le 2/eta$ の下で、投影勾配降下 (PGD) に暗黙的に従うことを示す。 本分析は, PGD軌道からの損失, 鋭さ, 偏差を, トレーニングを通して正確に予測する。
  論文  参考訳（メタデータ） (2022-09-30T17:15:12Z)
• Training Neural Networks in Single vs Double Precision [8.036150169408241]
  共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。 実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。 強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
  論文  参考訳（メタデータ） (2022-09-15T11:20:53Z)
• Memorize to Generalize: on the Necessity of Interpolation in High Dimensional Linear Regression [6.594338220264161]
  機械学習問題における最適な予測リスクを達成するには、トレーニングデータを補間する必要がある。 この設定では、トレーニングエラーで予測(テスト)エラーが必ずスケールするかを特徴付ける。 最適な性能には、問題の固有のノイズフロアよりもかなり高い精度でトレーニングデータを取り付ける必要がある。
  論文  参考訳（メタデータ） (2022-02-20T18:51:45Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Stability for the Training of Deep Neural Networks and Other Classifiers [0.9558392439655015]
  我々は安定性の概念を定式化し、不安定性の例を示す。 トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
  論文  参考訳（メタデータ） (2020-02-10T22:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。