論文の概要: The Fundamental Limits of Interval Arithmetic for Neural Networks

• arxiv url: http://arxiv.org/abs/2112.05235v1
• Date: Thu, 9 Dec 2021 22:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 14:04:41.099621
• Title: The Fundamental Limits of Interval Arithmetic for Neural Networks
• Title（参考訳）: ニューラルネットワークにおける区間算術の基本限界
• Authors: Matthew Mirman, Maximilian Baader, Martin Vechev
• Abstract要約: 本稿では,ニューラルネットワーク解析のためのインターバル演算の限界に関する2つの結果を示す。 我々の主要な不合理性定理は、わずか3つの点を分類するニューラルネットワークに対して、区間解析が証明できない点に対して有効な仕様が存在することを述べている。 一重層ニューラルネットワークの制限された場合、より強い可視性結果を示す。
• 参考スコア（独自算出の注目度）: 10.463365653675694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interval analysis (or interval bound propagation, IBP) is a popular technique for verifying and training provably robust deep neural networks, a fundamental challenge in the area of reliable machine learning. However, despite substantial efforts, progress on addressing this key challenge has stagnated, calling into question whether interval arithmetic is a viable path forward. In this paper we present two fundamental results on the limitations of interval arithmetic for analyzing neural networks. Our main impossibility theorem states that for any neural network classifying just three points, there is a valid specification over these points that interval analysis can not prove. Further, in the restricted case of one-hidden-layer neural networks we show a stronger impossibility result: given any radius $\alpha < 1$, there is a set of $O(\alpha^{-1})$ points with robust radius $\alpha$, separated by distance $2$, that no one-hidden-layer network can be proven to classify robustly via interval analysis.
• Abstract（参考訳）: インターバル解析(Interval Analysis, IBP)は、信頼性の高い機械学習領域における基本的な課題である、証明可能な堅牢なディープニューラルネットワークの検証とトレーニングのための一般的なテクニックである。 しかし、かなりの努力にもかかわらず、この重要な課題に対処する進歩は停滞し、インターバル算術が前進可能な経路であるかどうかを問うようになった。 本稿では,ニューラルネットワーク解析のためのインターバル演算の限界に関する2つの基本的結果を示す。 我々の主要な不合理性定理は、わずか3つの点を分類するニューラルネットワークに対して、区間解析が証明できない点に対して有効な仕様が存在することを述べている。 任意の半径 $\alpha < 1$ が与えられたとき、ロバストな半径 $\alpha$ を持つ一組の $o(\alpha^{-1})$ が存在し、距離$$ で区切られ、一方の階層ネットワークが区間分析によってロバストに分類できることを証明できない。

関連論文リスト

• Computable Lipschitz Bounds for Deep Neural Networks [0.0]
  我々は$l2$ノルムのために書かれた3つの既存の上限を分析する。 本稿では,フィードフォワード完全接続ニューラルネットワークと畳み込みニューラルネットワークの2つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:09:46Z)
• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification [22.361338848134025]
  本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。 また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
  論文  参考訳（メタデータ） (2023-07-13T05:33:44Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
  逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。 任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。 この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
  論文  参考訳（メタデータ） (2020-04-13T13:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。