論文の概要: DeepStability: A Study of Unstable Numerical Methods and Their Solutions
in Deep Learning
- arxiv url: http://arxiv.org/abs/2202.03493v1
- Date: Mon, 7 Feb 2022 20:15:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 06:43:28.922604
- Title: DeepStability: A Study of Unstable Numerical Methods and Their Solutions
in Deep Learning
- Title（参考訳）: DeepStability: ディープラーニングにおける不安定な数値手法とその解法に関する研究
- Authors: E. Kloberdanz, K. G. Kloberdanz, W. Le
- Abstract要約: ディープラーニング(DL)は、様々な重要な問題に対するソリューションの不可欠な部分となっている。
DLソフトウェアの信頼性と堅牢性を達成する上での課題の1つは、アルゴリズムの実装が数値的に安定であることを保証することである。
数値計算の簡単な実装は、誤った、あるいは不正確な学習結果をもたらす可能性のあるエラーにつながる可能性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning (DL) has become an integral part of solutions to various
important problems, which is why ensuring the quality of DL systems is
essential. One of the challenges of achieving reliability and robustness of DL
software is to ensure that algorithm implementations are numerically stable. DL
algorithms require a large amount and a wide variety of numerical computations.
A naive implementation of numerical computation can lead to errors that may
result in incorrect or inaccurate learning and results. A numerical algorithm
or a mathematical formula can have several implementations that are
mathematically equivalent, but have different numerical stability properties.
Designing numerically stable algorithm implementations is challenging, because
it requires an interdisciplinary knowledge of software engineering, DL, and
numerical analysis. In this paper, we study two mature DL libraries PyTorch and
Tensorflow with the goal of identifying unstable numerical methods and their
solutions. Specifically, we investigate which DL algorithms are numerically
unstable and conduct an in-depth analysis of the root cause, manifestation, and
patches to numerical instabilities. Based on these findings, we launch, the
first database of numerical stability issues and solutions in DL. Our findings
and provide future references to developers and tool builders to prevent,
detect, localize and fix numerically unstable algorithm implementations. To
demonstrate that, using {\it DeepStability} we have located numerical stability
issues in Tensorflow, and submitted a fix which has been accepted and merged
in.
- Abstract（参考訳）: 深層学習(DL)は、様々な重要な問題に対するソリューションの不可欠な部分となっているため、DLシステムの品質確保が不可欠である。
dlソフトウェアの信頼性と堅牢性を達成するための課題の1つは、アルゴリズムの実装が数値的に安定であることを保証することである。
DLアルゴリズムは多種多様な数値計算を必要とする。
数値計算のナイーブな実装は、誤った、あるいは不正確な学習と結果をもたらす可能性のある誤りにつながる可能性がある。
数値アルゴリズムや数式は、数学的に等価だが数値安定性の異なるいくつかの実装を持つことができる。
数値的に安定なアルゴリズムの実装を設計することは、ソフトウェア工学、DL、数値解析の学際的な知識を必要とするため困難である。
本稿では,2つの成熟したdlライブラリpytorchとtensorflowを調査し,不安定な数値手法とその解を同定することを目的とした。
具体的には,どのdlアルゴリズムが数値的に不安定であるかを調べ,根因,症状,パッチの数値不安定性について詳細な解析を行う。
これらの知見に基づいて,DLにおける数値安定性問題と解のデータベースを初めて立ち上げる。
我々は,数値的に不安定なアルゴリズムの実装を回避し,検出し,局所化し,修正するために,開発者やツールビルダーに今後の参照を提供する。
証明するために、 {\it DeepStability} を用いて、Tensorflow に数値安定性の問題を見つけ、受け入れ、マージされた修正を提出した。
関連論文リスト
- Rethinking Deep Thinking: Stable Learning of Algorithms using Lipschitz Constraints [6.171990546748665]
反復アルゴリズムは、解に到達するまでステップを踏むことで問題を解決する。
ディープシンキング(DT)ネットワークは、推論時に異なるサイズの問題にスケール可能な方法で反復アルゴリズムを学習することが実証されている。
トレーニング中は不安定であり、ソリューションにおける収束/終了の保証はない。
本稿では,中間表現の成長を解析することで不安定性の問題に対処する。
論文 参考訳（メタデータ） (2024-10-30T20:48:22Z) - Is Algorithmic Stability Testable? A Unified Framework under Computational Constraints [5.68594452139461]
ブラックボックスアルゴリズムの安定性をテストすることは、データが数えきれないほど無限の空間にあるような環境では不可能であることを示す。
アルゴリズム安定性テストの難易度を定量化するための統一的なフレームワークを開発し,全ての設定において,利用可能なデータが制限されている場合,網羅的探索がアルゴリズム安定性を証明するための唯一の普遍的なメカニズムであることを示す。
論文 参考訳（メタデータ） (2024-05-23T23:51:25Z) - Uncertainty quantification for deep learning-based schemes for solving
high-dimensional backward stochastic differential equations [5.883258964010963]
深層学習に基づくBSDEスキームのクラスに対する不確実性定量化(UQ)について検討する。
アルゴリズムの単一実行のみを用いて近似解のSTDを効率的に推定するUQモデルを開発した。
数値実験により,UQモデルは近似解の平均とSTDの信頼性の高い推定値を生成することが示された。
論文 参考訳（メタデータ） (2023-10-05T09:00:48Z) - Uncertainty Injection: A Deep Learning Method for Robust Optimization [16.13344685457395]
本稿では,頑健な最適化問題を解くために,ディープラーニングモデルを訓練するための不確実性注入のパラダイムを提案する。
我々は,無線通信を問題パラメータに不確実性が存在するアプリケーション分野として認識する。
提案手法の有効性を2つの応用例で示す。
論文 参考訳（メタデータ） (2023-02-23T19:59:24Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Solving Subset Sum Problems using Quantum Inspired Optimization
Algorithms with Applications in Auditing and Financial Data Analysis [2.0981723008692392]
Hopfield Networksの勾配勾配勾配が、人工データと実データの両方の解を確実に見つける方法を示す。
本稿では,このアルゴリズムを断熱量子コンピュータに応用する方法を概説する。
論文 参考訳（メタデータ） (2022-10-28T12:22:15Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。
大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。
応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
論文 参考訳（メタデータ） (2020-08-05T17:52:10Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。