論文の概要: Specification-Driven Neural Network Reduction for Scalable Formal
Verification
- arxiv url: http://arxiv.org/abs/2305.01932v1
- Date: Wed, 3 May 2023 07:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 15:53:15.371347
- Title: Specification-Driven Neural Network Reduction for Scalable Formal
Verification
- Title(参考訳): スケーラブルな形式検証のための仕様駆動ニューラルネットワークの削減
- Authors: Tobias Ladner, Matthias Althoff
- Abstract要約: 本稿では,ネットワークの検証が元のネットワークの検証を意味することを確実にする,保守的なニューラルネットワーク削減手法を提案する。
評価の結果,本手法はニューロン数の5%未満までネットワークを縮小し,検証時間を短縮できることがわかった。
- 参考スコア(独自算出の注目度): 8.751383865142772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Formal verification of neural networks is essential before their deployment
in safety-critical settings. However, existing methods for formally verifying
neural networks are not yet scalable enough to handle practical problems that
involve a large number of neurons. In this work, we propose a novel approach to
address this challenge: A conservative neural network reduction approach that
ensures that the verification of the reduced network implies the verification
of the original network. Our approach constructs the reduction on-the-fly,
while simultaneously verifying the original network and its specifications. The
reduction merges all neurons of a nonlinear layer with similar outputs and is
applicable to neural networks with any type of activation function such as
ReLU, sigmoid, and tanh. Our evaluation shows that our approach can reduce a
network to less than 5% of the number of neurons and thus to a similar degree
the verification time is reduced.
- Abstract(参考訳): ニューラルネットワークの形式的検証は、安全クリティカルな設定で展開する前に不可欠である。
しかし、ニューラルネットワークを公式に検証する既存の方法は、多数のニューロンを含む実用的な問題を扱うのに十分なスケーラビリティを持っていない。
本研究では,この課題に対処する新しいアプローチを提案する。 ネットワークの検証が元のネットワークの検証を意味することを確実にする,保守的なニューラルネットワーク削減アプローチ。
提案手法は,元のネットワークとその仕様を同時に検証しながら,オンザフライでの低減を構築する。
この還元は、同様の出力を持つ非線形層の全てのニューロンをマージし、ReLU、シグモイド、タンなどの任意の種類の活性化機能を持つニューラルネットワークに適用できる。
評価の結果,本手法はニューロン数の5%以下までネットワークを縮小し,検証時間を短縮できることがわかった。
関連論文リスト
- Expediting Neural Network Verification via Network Reduction [4.8621567234713305]
本稿では,検証前の事前処理手法として,ネットワーク削減手法を提案する。
提案手法は、安定なReLUニューロンを除去し、それらをシーケンシャルなニューラルネットワークに変換することにより、ニューラルネットワークを削減する。
我々は、最先端の完全および不完全検証ツールの縮小手法をインスタンス化する。
論文 参考訳(メタデータ) (2023-08-07T06:23:24Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - Towards Repairing Neural Networks Correctly [6.600380575920419]
本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。
実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
論文 参考訳(メタデータ) (2020-12-03T12:31:07Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳(メタデータ) (2020-10-20T18:55:32Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳(メタデータ) (2020-05-07T15:57:25Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳(メタデータ) (2020-04-06T08:08:24Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳(メタデータ) (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。