論文の概要: Trustworthy Optimization: A Novel Approach to Counter Numerical Instability in 16-bit Neural Network Training

• arxiv url: http://arxiv.org/abs/2307.16189v4
• Date: Mon, 2 Oct 2023 02:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 10:55:20.809580
• Title: Trustworthy Optimization: A Novel Approach to Counter Numerical Instability in 16-bit Neural Network Training
• Title（参考訳）: 信頼できる最適化:16ビットニューラルネットワークトレーニングにおける数値不安定対策の新しいアプローチ
• Authors: Juyoung Yun
• Abstract要約: 機械学習モデルの16ビット計算における数値不安定性について検討する。 16ビット計算におけるエプシロンの微妙な調整は、RMSPropとAdamの信頼性を高めることができる。 本稿では,Adamからの更新を活用して学習プロセスの安定性を高める,新しい信頼性の高いアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this research, we address critical trustworthiness concerns related to the numerical instability observed in 16-bit computations of machine learning models. Such instability, particularly when employing popular optimization algorithms like RMSProp and Adam, often leads to unreliable training of deep neural networks. This not only disrupts the learning process but also poses significant challenges in deploying dependable models in real-world applications. Our investigation identifies the epsilon hyperparameter as the primary source of this instability. A nuanced exploration reveals that subtle adjustments to epsilon within 16-bit computations can enhance the reliability of RMSProp and Adam, enabling more trustworthy training of 16-bit neural networks. We propose a novel, dependable approach that leverages updates from the Adam optimizer to bolster the stability of the learning process. Our contributions provide deeper insights into optimization challenges in low-precision computations and offer solutions to ensure the trustworthiness and stability of deep neural network training, paving the way for their dependable use in various applications.
• Abstract（参考訳）: 本研究では,機械学習モデルの16ビット計算で観測される数値不安定性に関する重要な信頼性の懸念に対処する。 このような不安定性、特にRMSPropやAdamのような一般的な最適化アルゴリズムを採用する場合、しばしばディープニューラルネットワークの信頼性の低いトレーニングにつながる。 これは学習プロセスを損なうだけでなく、現実のアプリケーションに信頼性のあるモデルをデプロイする上でも大きな課題となる。 本研究は, この不安定性の原因として, エプシロンハイパーパラメーターを同定した。 16ビットの計算でepsilonに微調整を加えることでrmspropとadamの信頼性が向上し、16ビットのニューラルネットワークのより信頼できるトレーニングが可能になる。 本稿では,Adamオプティマイザからの更新を利用して学習プロセスの安定性を高める,新しい信頼性の高いアプローチを提案する。 当社のコントリビューションは、低精度計算における最適化の課題に対する深い洞察を提供し、ディープニューラルネットワークトレーニングの信頼性と安定性を保証するためのソリューションを提供し、さまざまなアプリケーションで信頼できる使用方法を提供します。

関連論文リスト

• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Fixing Overconfidence in Dynamic Neural Networks [21.148621590039582]
  本稿では,動的ニューラルネットワークにおける不確かさの定量化に有効な手法を提案する。 CIFAR-100, ImageNet, Caltech-256の精度, 不確実性, 校正誤差の点で改善点を示す。
  論文  参考訳（メタデータ） (2023-02-13T13:45:50Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
  効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。 我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
  論文  参考訳（メタデータ） (2022-05-24T18:08:16Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Robust Optimization Framework for Training Shallow Neural Networks Using Reachability Method [1.9798034349981157]
  ニューラルネットワークの到達可能性分析に基づいて、浅いニューラルネットワークをトレーニングする堅牢な最適化フレームワークを開発した。 開発したロバスト学習法は,トレーニング精度の損失に対して,摂動に対する堅牢性を向上できることを示した。
  論文  参考訳（メタデータ） (2021-07-27T13:16:20Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Bayesian Neural Networks at Scale: A Performance Analysis and Pruning Study [2.3605348648054463]
  本研究は,BNNを大規模にトレーニングする際の課題に対処するために,分散トレーニングを用いた高性能コンピューティングの利用について検討する。 我々は,Cray-XC40クラスタ上でのVGG-16とResnet-18モデルのトレーニング性能とスケーラビリティの比較を行った。
  論文  参考訳（メタデータ） (2020-05-23T23:15:34Z)
• Stable Neural Flows [15.318500611972441]
  ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。 学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
  論文  参考訳（メタデータ） (2020-03-18T06:27:21Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。