論文の概要: Expediting Neural Network Verification via Network Reduction

• arxiv url: http://arxiv.org/abs/2308.03330v1
• Date: Mon, 7 Aug 2023 06:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 15:03:29.035886
• Title: Expediting Neural Network Verification via Network Reduction
• Title（参考訳）: ネットワーク還元によるニューラルネットワーク検証の高速化
• Authors: Yuyi Zhong, Ruiwei Wang, Siau-Cheng Khoo
• Abstract要約: 本稿では,検証前の事前処理手法として,ネットワーク削減手法を提案する。 提案手法は、安定なReLUニューロンを除去し、それらをシーケンシャルなニューラルネットワークに変換することにより、ニューラルネットワークを削減する。 我々は、最先端の完全および不完全検証ツールの縮小手法をインスタンス化する。
• 参考スコア（独自算出の注目度）: 3.0401770841788722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wide range of verification methods have been proposed to verify the safety properties of deep neural networks ensuring that the networks function correctly in critical applications. However, many well-known verification tools still struggle with complicated network architectures and large network sizes. In this work, we propose a network reduction technique as a pre-processing method prior to verification. The proposed method reduces neural networks via eliminating stable ReLU neurons, and transforming them into a sequential neural network consisting of ReLU and Affine layers which can be handled by the most verification tools. We instantiate the reduction technique on the state-of-the-art complete and incomplete verification tools, including alpha-beta-crown, VeriNet and PRIMA. Our experiments on a large set of benchmarks indicate that the proposed technique can significantly reduce neural networks and speed up existing verification tools. Furthermore, the experiment results also show that network reduction can improve the availability of existing verification tools on many networks by reducing them into sequential neural networks.
• Abstract（参考訳）: ネットワークが重要なアプリケーションで正しく機能することを保証するため、ディープニューラルネットワークの安全性を検証するための幅広い検証手法が提案されている。 しかし、多くのよく知られた検証ツールはまだ複雑なネットワークアーキテクチャと大きなネットワークサイズで苦労している。 本研究では,検証前の事前処理手法としてネットワーク低減手法を提案する。 提案手法は、安定なReLUニューロンを除去してニューラルネットワークを低減し、最も有効なツールで処理可能なReLU層とAffine層からなるシーケンシャルニューラルネットワークに変換する。 α-beta-crown, verinet, primaなど,最先端の完全かつ不完全な検証ツールでリダクション技術をインスタンス化する。 大規模ベンチマーク実験の結果,提案手法はニューラルネットワークを著しく削減し,既存の検証ツールを高速化できることが示唆された。 さらに,実験結果から,ネットワークの縮小により,複数のネットワーク上で既存の検証ツールの可用性が向上し,それらを逐次ニューラルネットワークに還元できることを示した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Fully Automatic Neural Network Reduction for Formal Verification [8.017543518311196]
  到達可能性解析を用いたニューラルネットワークの完全自動・音量低減手法を提案する。 音質は、低減されたネットワークの検証が元のネットワークの検証を必要とすることを保証します。 提案手法は, ニューロンの数を, 小さい外近似で, 元のニューロン数のごく一部に減らすことができることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:13:47Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Neural Network Verification using Residual Reasoning [0.0]
  本稿では,経験的推論を用いて,抽象化に基づくニューラルネットワークの検証の強化を提案する。 本質的には、精細化されたネットワークが正しく振る舞うことを保証された検索空間の一部に関する情報を、検証者が格納することができる。
  論文  参考訳（メタデータ） (2022-08-05T10:39:04Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
  ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。 量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
  論文  参考訳（メタデータ） (2020-12-15T10:05:37Z)
• Towards Repairing Neural Networks Correctly [6.600380575920419]
  本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。 実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
  論文  参考訳（メタデータ） (2020-12-03T12:31:07Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Verification of Neural Networks: Enhancing Scalability through Pruning [15.62342143633075]
  我々は、最先端の検証ツールが実際に関心のあるニューラルネットワークを扱えるようにすることに重点を置いている。 本稿では,ネットワークプルーニングに基づく新しいトレーニングパイプラインを提案する。 プルーニングアルゴリズムと検証ツールのポートフォリオを用いた実験の結果、我々のアプローチが考慮すべきネットワークの種類に対して成功していることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。