論文の概要: Expressivity of ReLU-Networks under Convex Relaxations
- arxiv url: http://arxiv.org/abs/2311.04015v1
- Date: Tue, 7 Nov 2023 14:14:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:08:26.289962
- Title: Expressivity of ReLU-Networks under Convex Relaxations
- Title(参考訳): 凸緩和下におけるReLU-Networksの表現性
- Authors: Maximilian Baader, Mark Niklas M\"uller, Yuhao Mao, Martin Vechev
- Abstract要約: 我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。
i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
- 参考スコア(独自算出の注目度): 7.043624904936254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convex relaxations are a key component of training and certifying provably
safe neural networks. However, despite substantial progress, a wide and poorly
understood accuracy gap to standard networks remains, raising the question of
whether this is due to fundamental limitations of convex relaxations. Initial
work investigating this question focused on the simple and widely used IBP
relaxation. It revealed that some univariate, convex, continuous piecewise
linear (CPWL) functions cannot be encoded by any ReLU network such that its
IBP-analysis is precise. To explore whether this limitation is shared by more
advanced convex relaxations, we conduct the first in-depth study on the
expressive power of ReLU networks across all commonly used convex relaxations.
We show that: (i) more advanced relaxations allow a larger class of univariate
functions to be expressed as precisely analyzable ReLU networks, (ii) more
precise relaxations can allow exponentially larger solution spaces of ReLU
networks encoding the same functions, and (iii) even using the most precise
single-neuron relaxations, it is impossible to construct precisely analyzable
ReLU networks that express multivariate, convex, monotone CPWL functions.
- Abstract(参考訳): 凸緩和は、確実に安全なニューラルネットワークのトレーニングと認定の鍵となるコンポーネントである。
しかし、かなりの進歩にもかかわらず、標準ネットワークに対する広範かつ未理解の精度のギャップが残っており、凸緩和の基本的限界によるものであるかどうかという疑問が提起されている。
この問題を調査した最初の研究は、シンプルで広く使われているIPP緩和に焦点を当てた。
この結果, 単変量, 凸, 連続ピースワイド線形(CPWL)関数は任意のReLUネットワークで符号化できず, IBP解析が正確であることが判明した。
この制限がより先進的な凸緩和によって共有されるかどうかを調べるために、ReLUネットワークのすべての一般的な凸緩和における表現力に関する詳細な研究を行う。
ご覧の通りです
i)より高度な緩和により、より大きな単変数函数のクラスを正確に解析可能なReLUネットワークとして表現することができる。
(ii)より正確な緩和は、同じ関数を符号化するReLUネットワークの指数関数的に大きい解空間を可能にする。
3)最も正確な単一ニューロン緩和を用いても,多変量,凸,単トンCPWL関数を正確に解析可能なReLUネットワークを構築することは不可能である。
関連論文リスト
- Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳(メタデータ) (2023-06-30T09:17:39Z) - Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。
さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文 参考訳(メタデータ) (2023-04-10T08:10:11Z) - Sharper analysis of sparsely activated wide neural networks with
trainable biases [103.85569570164404]
本研究は,ニューラル・タンジェント・カーネル(NTK)の勾配勾配による一層超過パラメータ化ReLUネットワークのトレーニング研究である。
驚くべきことに、スパシフィケーション後のネットワークは、元のネットワークと同じくらい高速に収束できることが示されている。
一般化境界は制限NTKの最小固有値に依存するため、この研究は制限NTKの最小固有値をさらに研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳(メタデータ) (2022-10-04T04:01:15Z) - DeepSplit: Scalable Verification of Deep Neural Networks via Operator
Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。
解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-16T20:43:49Z) - Analytical bounds on the local Lipschitz constants of affine-ReLU
functions [0.0]
Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。
ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。
我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
論文 参考訳(メタデータ) (2020-08-14T00:23:21Z) - The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron
Relaxations for Neural Network Verification [11.10637926254491]
我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。
ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
論文 参考訳(メタデータ) (2020-06-24T22:16:58Z) - PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier [1.1011268090482575]
我々は、ReLU NNの最も一般的な安全仕様を正式に検証するための新しいアプローチを導入する。
我々は, 線形実現可能性チェッカーとしてだけでなく, 解法で許容される緩和量のペナルティ化の手段として, 凸解法を用いる。
論文 参考訳(メタデータ) (2020-06-18T21:33:07Z) - On Sparsity in Overparametrised Shallow ReLU Networks [42.33056643582297]
無限に広い状態であっても、限られた数のニューロンしか必要としない解を捉えるための異なる正規化戦略の能力について検討する。
オーバーパラメトリゼーションの量に関係なく、両方のスキームは、有限個のニューロンしか持たない関数によって最小化される。
論文 参考訳(メタデータ) (2020-06-18T01:35:26Z) - Improving the Tightness of Convex Relaxation Bounds for Training
Certifiably Robust Classifiers [72.56180590447835]
凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。
非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
論文 参考訳(メタデータ) (2020-02-22T20:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。