論文の概要: Expressivity of ReLU-Networks under Convex Relaxations

• arxiv url: http://arxiv.org/abs/2311.04015v1
• Date: Tue, 7 Nov 2023 14:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:08:26.289962
• Title: Expressivity of ReLU-Networks under Convex Relaxations
• Title（参考訳）: 凸緩和下におけるReLU-Networksの表現性
• Authors: Maximilian Baader, Mark Niklas M\"uller, Yuhao Mao, Martin Vechev
• Abstract要約: 我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。 i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
• 参考スコア（独自算出の注目度）: 7.043624904936254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convex relaxations are a key component of training and certifying provably safe neural networks. However, despite substantial progress, a wide and poorly understood accuracy gap to standard networks remains, raising the question of whether this is due to fundamental limitations of convex relaxations. Initial work investigating this question focused on the simple and widely used IBP relaxation. It revealed that some univariate, convex, continuous piecewise linear (CPWL) functions cannot be encoded by any ReLU network such that its IBP-analysis is precise. To explore whether this limitation is shared by more advanced convex relaxations, we conduct the first in-depth study on the expressive power of ReLU networks across all commonly used convex relaxations. We show that: (i) more advanced relaxations allow a larger class of univariate functions to be expressed as precisely analyzable ReLU networks, (ii) more precise relaxations can allow exponentially larger solution spaces of ReLU networks encoding the same functions, and (iii) even using the most precise single-neuron relaxations, it is impossible to construct precisely analyzable ReLU networks that express multivariate, convex, monotone CPWL functions.
• Abstract（参考訳）: 凸緩和は、確実に安全なニューラルネットワークのトレーニングと認定の鍵となるコンポーネントである。 しかし、かなりの進歩にもかかわらず、標準ネットワークに対する広範かつ未理解の精度のギャップが残っており、凸緩和の基本的限界によるものであるかどうかという疑問が提起されている。 この問題を調査した最初の研究は、シンプルで広く使われているIPP緩和に焦点を当てた。 この結果, 単変量, 凸, 連続ピースワイド線形(CPWL)関数は任意のReLUネットワークで符号化できず, IBP解析が正確であることが判明した。 この制限がより先進的な凸緩和によって共有されるかどうかを調べるために、ReLUネットワークのすべての一般的な凸緩和における表現力に関する詳細な研究を行う。 ご覧の通りです i)より高度な緩和により、より大きな単変数函数のクラスを正確に解析可能なReLUネットワークとして表現することができる。 (ii)より正確な緩和は、同じ関数を符号化するReLUネットワークの指数関数的に大きい解空間を可能にする。 3)最も正確な単一ニューロン緩和を用いても,多変量,凸,単トンCPWL関数を正確に解析可能なReLUネットワークを構築することは不可能である。

関連論文リスト

• Multi-Neuron Unleashes Expressivity of ReLU Networks Under Convex Relaxation [2.775510076780097]
  一般的なReLUネットワークに対して,(階層的に)多重ニューロン緩和が完全な認証を提供することを示す。 我々は、ReLUネットワークの表現性は、マルチニューロン緩和下ではもはや制限されないことを示した。
  論文  参考訳（メタデータ） (2024-10-09T12:14:24Z)
• Equidistribution-based training of Free Knot Splines and ReLU Neural Networks [0.0]
  直交線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いた一次元関数近似の問題点を考察する。 ネットワークの幅が大きくなるにつれて,悪条件が急速に低下することを示す。 我々は、ReLU NNのトレーニング手順を改善するために、最適片方向線形補間理論を利用する。
  論文  参考訳（メタデータ） (2024-07-02T10:51:36Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier [1.1011268090482575]
  我々は、ReLU NNの最も一般的な安全仕様を正式に検証するための新しいアプローチを導入する。 我々は, 線形実現可能性チェッカーとしてだけでなく, 解法で許容される緩和量のペナルティ化の手段として, 凸解法を用いる。
  論文  参考訳（メタデータ） (2020-06-18T21:33:07Z)
• On Sparsity in Overparametrised Shallow ReLU Networks [42.33056643582297]
  無限に広い状態であっても、限られた数のニューロンしか必要としない解を捉えるための異なる正規化戦略の能力について検討する。 オーバーパラメトリゼーションの量に関係なく、両方のスキームは、有限個のニューロンしか持たない関数によって最小化される。
  論文  参考訳（メタデータ） (2020-06-18T01:35:26Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。