論文の概要: Can stable and accurate neural networks be computed? -- On the barriers of deep learning and Smale's 18th problem

• arxiv url: http://arxiv.org/abs/2101.08286v1
• Date: Wed, 20 Jan 2021 19:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:30:22.979757
• Title: Can stable and accurate neural networks be computed? -- On the barriers of deep learning and Smale's 18th problem
• Title（参考訳）: 安定で正確なニューラルネットワークは計算できるのか? --深層学習の障壁とスモール18号問題について
• Authors: Vegard Antun, Matthew J. Colbrook, Anders C. Hansen
• Abstract要約: ディープラーニング(DL)は前例のない成功を収め、現在は全力で科学計算に参入している。 DLは、不安定なニューラルネットワーク(NN)の存在をしばしば保証する普遍的な近似特性にもかかわらず、普遍的な現象に苦しむ このようなNNを訓練(あるいは計算)できるアルゴリズムが,ランダム化されてさえ存在しないことを示す。 我々は、Fast Iterative Restarted NETworks (FIRENETs)を紹介し、それを証明し、数値的に検証する。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning (DL) has had unprecedented success and is now entering scientific computing with full force. However, DL suffers from a universal phenomenon: instability, despite universal approximating properties that often guarantee the existence of stable neural networks (NNs). We show the following paradox. There are basic well-conditioned problems in scientific computing where one can prove the existence of NNs with great approximation qualities, however, there does not exist any algorithm, even randomised, that can train (or compute) such a NN. Indeed, for any positive integers $K > 2$ and $L$, there are cases where simultaneously: (a) no randomised algorithm can compute a NN correct to $K$ digits with probability greater than $1/2$, (b) there exists a deterministic algorithm that computes a NN with $K-1$ correct digits, but any such (even randomised) algorithm needs arbitrarily many training data, (c) there exists a deterministic algorithm that computes a NN with $K-2$ correct digits using no more than $L$ training samples. These results provide basic foundations for Smale's 18th problem and imply a potentially vast, and crucial, classification theory describing conditions under which (stable) NNs with a given accuracy can be computed by an algorithm. We begin this theory by initiating a unified theory for compressed sensing and DL, leading to sufficient conditions for the existence of algorithms that compute stable NNs in inverse problems. We introduce Fast Iterative REstarted NETworks (FIRENETs), which we prove and numerically verify are stable. Moreover, we prove that only $\mathcal{O}(|\log(\epsilon)|)$ layers are needed for an $\epsilon$ accurate solution to the inverse problem (exponential convergence), and that the inner dimensions in the layers do not exceed the dimension of the inverse problem. Thus, FIRENETs are computationally very efficient.
• Abstract（参考訳）: ディープラーニング(DL)は前例のない成功を収め、現在は全力で科学計算に参入している。 しかし、dlは安定ニューラルネットワーク(nns)の存在を保証する普遍的な近似特性にもかかわらず、不安定という普遍的な現象に苦しむ。 以下のパラドックスを示す。 科学的計算には、非常に近似品質の高いNNの存在を証明できる基本的な条件付き問題があるが、そのようなNNを訓練(あるいは計算)できるランダム化されたアルゴリズムは存在しない。 実際、任意の正の整数 $K > 2$ および $L$ に対して、同時に、 (a) ランダム化されたアルゴリズムは、1/2$ 以上の確率で NN を$K$ の桁に計算できる (b) NN を$K-1$ の桁で計算する決定論的アルゴリズムは存在するが、そのような (ランダム化された) アルゴリズムは任意の数のトレーニングデータを必要とする (c) NN を$K-2$ の桁で計算する決定論的アルゴリズムは、$L$ 以上のトレーニングサンプルを用いて存在する。 これらの結果は、Smaleの18番目の問題の基礎となり、与えられた精度の(安定な)NNをアルゴリズムで計算できる条件を記述する、潜在的に広大かつ重要な分類理論であることを示している。 この理論は圧縮センシングとdlの統一理論を開始し、逆問題において安定なnnsを計算するアルゴリズムが存在するための十分な条件を導いた。 我々は、Fast Iterative Restarted NETworks (FIRENETs)を紹介し、それを証明し、数値的に検証する。 さらに、逆問題(指数収束)に対する$\epsilon$正確な解には$\mathcal{O}(|\log(\epsilon)|)$層のみが必要であることを証明し、その層の内部次元が逆問題の次元を超えないことを証明した。 したがって、FIRENETは計算的に非常に効率的である。

関連論文リスト

• Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
  勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。 次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Tight Verification of Probabilistic Robustness in Bayesian Neural Networks [17.499817915644467]
  ベイズニューラルネットワーク(BNN)の確率論的ロバスト性に関する厳密な保証を計算するための2つのアルゴリズムを導入する。 提案アルゴリズムは,反復的拡張とネットワークの勾配を用いて,パラメータの空間を安全に探索する。 アルゴリズムがSoAよりも厳密なバウンダリを計算できることの証明に加えて、標準ベンチマーク上でのSoAに対するアルゴリズムの評価も行っています。
  論文  参考訳（メタデータ） (2024-01-21T23:41:32Z)
• Mind the $\tilde{\mathcal{O}}$: Asymptotically Better, but Still Impractical, Quantum Distributed Algorithms [0.0]
  確率の高い分散計算の量子ConGEST-CLIQUEモデルに2つのアルゴリズムを提案する。 従来のCONGEST-CLIQUEモデルでは、既知のアルゴリズムよりもラウンドとメッセージの複雑さが低い。 Groverの検索アルゴリズムの分散バージョンを使用して三角形探索を高速化する既存のフレームワークは、スピードアップのコアにある。
  論文  参考訳（メタデータ） (2023-04-06T02:18:52Z)
• Deterministic Nonsmooth Nonconvex Optimization [94.01526844386977]
  次元自由な次元自由アルゴリズムを得るにはランダム化が必要であることを示す。 我々のアルゴリズムは、ReLUネットワークを最適化する最初の決定論的次元自由アルゴリズムを得る。
  論文  参考訳（メタデータ） (2023-02-16T13:57:19Z)
• Private estimation algorithms for stochastic block models and mixture models [63.07482515700984]
  効率的なプライベート推定アルゴリズムを設計するための一般的なツール。 最初の効率的な$(epsilon, delta)$-differentially private algorithm for both weak recovery and exact recovery。
  論文  参考訳（メタデータ） (2023-01-11T09:12:28Z)
• Censored Quantile Regression Neural Networks [24.118509578363593]
  本稿では,ニューラルネットワーク(NN)を用いた検閲データに対する量子レグレッションの実施について考察する。 線形モデルで人気のあるアルゴリズムをNNに適用する方法を示す。 我々の主な貢献は、単一のNNによって出力される量子のグリッドを同時に最適化する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T17:10:28Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Geometric Path Enumeration for Equivalence Verification of Neural Networks [2.007262412327553]
  2つのNNが等価な振る舞いを示すことを示すことを目的としたNN等価性の形式的検証問題に焦点をあてる。 理論的には、epsilon-equivalence問題はcoNP完全であることを示す。 第3のステップでは、等価性検証のための拡張アルゴリズムを実装し、その実用化に必要な最適化を評価する。
  論文  参考訳（メタデータ） (2021-12-13T11:56:08Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。