論文の概要: On the numerical reliability of nonsmooth autodiff: a MaxPool case study

• arxiv url: http://arxiv.org/abs/2401.02736v2
• Date: Tue, 25 Jun 2024 08:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 20:50:02.389319
• Title: On the numerical reliability of nonsmooth autodiff: a MaxPool case study
• Title（参考訳）: 非平滑オートディフの数値的信頼性について:MaxPool ケーススタディ
• Authors: Ryan Boustany,
• Abstract要約: 本稿では,非滑らかなMaxPool演算を含むニューラルネットワークにおける自動微分(AD)の信頼性について考察する。 最大プール関数に対する非滑らかなヤコビアンの異なる選択が16ビットと32ビットの精度に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 1.3597551064547502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the reliability of automatic differentiation (AD) for neural networks involving the nonsmooth MaxPool operation. We investigate the behavior of AD across different precision levels (16, 32, 64 bits) and convolutional architectures (LeNet, VGG, and ResNet) on various datasets (MNIST, CIFAR10, SVHN, and ImageNet). Although AD can be incorrect, recent research has shown that it coincides with the derivative almost everywhere, even in the presence of nonsmooth operations (such as MaxPool and ReLU). On the other hand, in practice, AD operates with floating-point numbers (not real numbers), and there is, therefore, a need to explore subsets on which AD can be numerically incorrect. These subsets include a bifurcation zone (where AD is incorrect over reals) and a compensation zone (where AD is incorrect over floating-point numbers but correct over reals). Using SGD for the training process, we study the impact of different choices of the nonsmooth Jacobian for the MaxPool function on the precision of 16 and 32 bits. These findings suggest that nonsmooth MaxPool Jacobians with lower norms help maintain stable and efficient test accuracy, whereas those with higher norms can result in instability and decreased performance. We also observe that the influence of MaxPool's nonsmooth Jacobians on learning can be reduced by using batch normalization, Adam-like optimizers, or increasing the precision level.
• Abstract（参考訳）: 本稿では,非滑らかなMaxPool演算を含むニューラルネットワークにおける自動微分(AD)の信頼性について考察する。 我々は,様々なデータセット(MNIST, CIFAR10, SVHN, ImageNet)における,様々な精度レベル(16, 32, 64ビット)および畳み込みアーキテクチャ(LeNet, VGG, ResNet)におけるADの挙動について検討した。 AD は正しくないが、最近の研究では、非滑らかな操作(MaxPool や ReLU など)が存在する場合でも、ほとんどどこでも微分と一致することが示されている。 一方、実際にはADは浮動小数点数(実数ではない)で動くので、ADが数値的に正しくない部分集合を探索する必要がある。 これらの部分集合には、分岐ゾーン(ADが実数に対して正しくない)と補償ゾーン(ADが浮動小数点数に対して間違っているが実数に対して正しい)が含まれる。 トレーニングプロセスにSGDを用い,MaxPool関数に対する非滑らかなヤコビアンの選択が16ビット,32ビットの精度に与える影響について検討した。 これらの結果は,非平滑なマックスプールジャコビアンが安定かつ効率的なテスト精度を維持するのに有効であるのに対し,高ノルムのヤコビアンでは安定性が低下し,性能が低下することが示唆された。 また,MaxPoolの非滑らかなJacobianの学習への影響は,バッチ正規化やAdamライクなオプティマイザ,精度の向上などによって低減することができる。

関連論文リスト

• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Towards General Robustness Verification of MaxPool-based Convolutional Neural Networks via Tightening Linear Approximation [51.235583545740674]
  MaxLinは、線形近似が厳密なMaxPoolベースのCNNの堅牢性検証器である。 我々は、MNIST、CIFAR-10、Tiny ImageNetデータセットでトレーニングされたLeNetやネットワークを含むオープンソースのベンチマークでMaxLinを評価した。
  論文  参考訳（メタデータ） (2024-06-02T10:33:04Z)
• Training Neural Networks in Single vs Double Precision [8.036150169408241]
  共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。 実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。 強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
  論文  参考訳（メタデータ） (2022-09-15T11:20:53Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Numerical influence of ReLU'(0) on backpropagation [0.0]
  理論的には、[0, 1] における ReLU(0) の選択は、バックプロパゲーションとトレーニングの両方に無視できる影響を持つ。 各種ネットワークおよびデータセットにおける複数の精度レベル(16, 32, 64ビット)に対するReLU'(0)値の重要性について検討する。
  論文  参考訳（メタデータ） (2021-06-23T09:28:17Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• GOALS: Gradient-Only Approximations for Line Searches Towards Robust and Consistent Training of Deep Neural Networks [0.0]
  ミニバッチサブサンプリング(MBSS)は、計算コストを削減するために、ディープニューラルネットワークトレーニングで好まれる。 最適性基準が定義された強い収束特性を持つ勾配限定近似線探索(GOALS)を提案する。
  論文  参考訳（メタデータ） (2021-05-23T11:21:01Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Avoiding local minima in variational quantum eigensolvers with the natural gradient optimizer [0.0]
  変分量子固有解法(VQEs)の文脈におけるBFGS,ADAM,NatGradの比較 本稿では, 横フィールドイジングモデル(TFIM)のQAOAアンサッツと, ハミルトニアンの対称性を破ることのできる過パラメータ回路の性能について解析する。
  論文  参考訳（メタデータ） (2020-04-30T10:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。