論文の概要: DeepStability: A Study of Unstable Numerical Methods and Their Solutions
in Deep Learning
- arxiv url: http://arxiv.org/abs/2202.03493v1
- Date: Mon, 7 Feb 2022 20:15:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 06:43:28.922604
- Title: DeepStability: A Study of Unstable Numerical Methods and Their Solutions
in Deep Learning
- Title(参考訳): DeepStability: ディープラーニングにおける不安定な数値手法とその解法に関する研究
- Authors: E. Kloberdanz, K. G. Kloberdanz, W. Le
- Abstract要約: ディープラーニング(DL)は、様々な重要な問題に対するソリューションの不可欠な部分となっている。
DLソフトウェアの信頼性と堅牢性を達成する上での課題の1つは、アルゴリズムの実装が数値的に安定であることを保証することである。
数値計算の簡単な実装は、誤った、あるいは不正確な学習結果をもたらす可能性のあるエラーにつながる可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning (DL) has become an integral part of solutions to various
important problems, which is why ensuring the quality of DL systems is
essential. One of the challenges of achieving reliability and robustness of DL
software is to ensure that algorithm implementations are numerically stable. DL
algorithms require a large amount and a wide variety of numerical computations.
A naive implementation of numerical computation can lead to errors that may
result in incorrect or inaccurate learning and results. A numerical algorithm
or a mathematical formula can have several implementations that are
mathematically equivalent, but have different numerical stability properties.
Designing numerically stable algorithm implementations is challenging, because
it requires an interdisciplinary knowledge of software engineering, DL, and
numerical analysis. In this paper, we study two mature DL libraries PyTorch and
Tensorflow with the goal of identifying unstable numerical methods and their
solutions. Specifically, we investigate which DL algorithms are numerically
unstable and conduct an in-depth analysis of the root cause, manifestation, and
patches to numerical instabilities. Based on these findings, we launch, the
first database of numerical stability issues and solutions in DL. Our findings
and provide future references to developers and tool builders to prevent,
detect, localize and fix numerically unstable algorithm implementations. To
demonstrate that, using {\it DeepStability} we have located numerical stability
issues in Tensorflow, and submitted a fix which has been accepted and merged
in.
- Abstract(参考訳): 深層学習(DL)は、様々な重要な問題に対するソリューションの不可欠な部分となっているため、DLシステムの品質確保が不可欠である。
dlソフトウェアの信頼性と堅牢性を達成するための課題の1つは、アルゴリズムの実装が数値的に安定であることを保証することである。
DLアルゴリズムは多種多様な数値計算を必要とする。
数値計算のナイーブな実装は、誤った、あるいは不正確な学習と結果をもたらす可能性のある誤りにつながる可能性がある。
数値アルゴリズムや数式は、数学的に等価だが数値安定性の異なるいくつかの実装を持つことができる。
数値的に安定なアルゴリズムの実装を設計することは、ソフトウェア工学、DL、数値解析の学際的な知識を必要とするため困難である。
本稿では,2つの成熟したdlライブラリpytorchとtensorflowを調査し,不安定な数値手法とその解を同定することを目的とした。
具体的には,どのdlアルゴリズムが数値的に不安定であるかを調べ,根因,症状,パッチの数値不安定性について詳細な解析を行う。
これらの知見に基づいて,DLにおける数値安定性問題と解のデータベースを初めて立ち上げる。
我々は,数値的に不安定なアルゴリズムの実装を回避し,検出し,局所化し,修正するために,開発者やツールビルダーに今後の参照を提供する。
証明するために、 {\it DeepStability} を用いて、Tensorflow に数値安定性の問題を見つけ、受け入れ、マージされた修正を提出した。
関連論文リスト
- Towards Improved Imbalance Robustness in Continual Multi-Label Learning
with Dual Output Spiking Architecture (DOSA) [3.7039357017353214]
本研究は,連続的なマルチラベル学習のための二重出力スパイクアーキテクチャ (DOSA) を提案する。
新たな不均衡認識損失関数も提案され、モデルのマルチラベル分類性能が向上した。
論文 参考訳(メタデータ) (2024-02-07T05:38:53Z) - Uncertainty quantification for deep learning-based schemes for solving
high-dimensional backward stochastic differential equations [5.883258964010963]
深層学習に基づくBSDEスキームのクラスに対する不確実性定量化(UQ)について検討する。
アルゴリズムの単一実行のみを用いて近似解のSTDを効率的に推定するUQモデルを開発した。
数値実験により,UQモデルは近似解の平均とSTDの信頼性の高い推定値を生成することが示された。
論文 参考訳(メタデータ) (2023-10-05T09:00:48Z) - Uncertainty Injection: A Deep Learning Method for Robust Optimization [16.13344685457395]
本稿では,頑健な最適化問題を解くために,ディープラーニングモデルを訓練するための不確実性注入のパラダイムを提案する。
我々は,無線通信を問題パラメータに不確実性が存在するアプリケーション分野として認識する。
提案手法の有効性を2つの応用例で示す。
論文 参考訳(メタデータ) (2023-02-23T19:59:24Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - Solving Subset Sum Problems using Quantum Inspired Optimization
Algorithms with Applications in Auditing and Financial Data Analysis [2.0981723008692392]
Hopfield Networksの勾配勾配勾配が、人工データと実データの両方の解を確実に見つける方法を示す。
本稿では,このアルゴリズムを断熱量子コンピュータに応用する方法を概説する。
論文 参考訳(メタデータ) (2022-10-28T12:22:15Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - Stable Implementation of Probabilistic ODE Solvers [27.70274403550477]
常微分方程式(odes)の確率的解法は、数値の不確かさの効率的な定量化をもたらす。
それらは高い順序でまたは小さいステップ サイズと動くとき数値不安定に苦しみます。
本研究は,この問題に対する解決策を提案し,検討する。
正確な初期化、数値安定性をステップサイズ非依存にする座標変更事前条件、平方根実装の3つのコンポーネントを含んでいる。
論文 参考訳(メタデータ) (2020-12-18T08:35:36Z) - Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。
大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。
応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
論文 参考訳(メタデータ) (2020-08-05T17:52:10Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。