論文の概要: Can pruning improve certified robustness of neural networks?

• arxiv url: http://arxiv.org/abs/2206.07311v1
• Date: Wed, 15 Jun 2022 05:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 05:26:16.203211
• Title: Can pruning improve certified robustness of neural networks?
• Title（参考訳）: プルーニングはニューラルネットワークの堅牢性を改善するか?
• Authors: Zhangheng Li, Tianlong Chen, Linyi Li, Bo Li, Zhangyang Wang
• Abstract要約: ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
• 参考スコア（独自算出の注目度）: 106.03070538582222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of deep learning, the sizes of neural networks become larger and larger so that the training and inference often overwhelm the hardware resources. Given the fact that neural networks are often over-parameterized, one effective way to reduce such computational overhead is neural network pruning, by removing redundant parameters from trained neural networks. It has been recently observed that pruning can not only reduce computational overhead but also can improve empirical robustness of deep neural networks (NNs), potentially owing to removing spurious correlations while preserving the predictive accuracies. This paper for the first time demonstrates that pruning can generally improve certified robustness for ReLU-based NNs under the complete verification setting. Using the popular Branch-and-Bound (BaB) framework, we find that pruning can enhance the estimated bound tightness of certified robustness verification, by alleviating linear relaxation and sub-domain split problems. We empirically verify our findings with off-the-shelf pruning methods and further present a new stability-based pruning method tailored for reducing neuron instability, that outperforms existing pruning methods in enhancing certified robustness. Our experiments show that by appropriately pruning an NN, its certified accuracy can be boosted up to 8.2% under standard training, and up to 24.5% under adversarial training on the CIFAR10 dataset. We additionally observe the existence of certified lottery tickets that can match both standard and certified robust accuracies of the original dense models across different datasets. Our findings offer a new angle to study the intriguing interaction between sparsity and robustness, i.e. interpreting the interaction of sparsity and certified robustness via neuron stability. Codes are available at: https://github.com/VITA-Group/CertifiedPruning.
• Abstract（参考訳）: ディープラーニングの急速な発展により、ニューラルネットワークのサイズがますます大きくなり、トレーニングや推論がハードウェアリソースを圧倒するようになる。 ニューラルネットワークが過度にパラメータ化されているという事実を考えると、そのような計算オーバーヘッドを減らす効果的な方法は、トレーニングされたニューラルネットワークから冗長なパラメータを取り除くことによって、ニューラルネットワークのプルーニングである。 近年、プルーニングは計算オーバーヘッドを削減するだけでなく、予測精度を維持しながら、急激な相関を取り除き、深層ニューラルネットワーク(NN)の実証的堅牢性を向上させることができることが観察されている。 本稿では,ReLUベースNNの完全検証条件下でのプルーニングにより,一般に信頼性が向上することを示す。 一般的なブランチ・アンド・バウンド(bab)フレームワークを使用することで、線形緩和とサブドメイン分割問題を緩和することにより、pruningは認定ロバスト性検証の限定性を高めることができる。 本研究は, 既設プルーニング法を市販プルーニング法で実証的に検証し, さらに, 既存のプルーニング法よりも信頼性の高い, ニューロン不安定性の低減に適した安定性ベースのプルーニング法を提案する。 我々の実験は、NNを適切に刈り取ることで、その認証精度が標準トレーニングで8.2%、CIFAR10データセットで敵対トレーニングで24.5%向上できることを示している。 さらに、異なるデータセットにまたがるオリジナルの密集したモデルの標準的および認定されたロバストなアキュラリティにマッチする認定抽選チケットの存在も観察する。 本研究は、スパーシティとロバストネスの間の興味深い相互作用、すなわちニューロンの安定性を介してスパーシティと認定ロバストネスの相互作用を解釈する新しい角度を提供する。 コードは、https://github.com/VITA-Group/CertifiedPruning.comで入手できる。

関連論文リスト

• Confident magnitude-based neural network pruning [0.0]
  ニューラルネットワークのプルーニングは、ディープラーニングモデルの効率向上とメモリストレージの削減に成功している。 我々は、分布のない不確実性定量化に関する最近の技術を活用し、深いニューラルネットワークを圧縮するための有限サンプル統計保証を提供する。 この研究は、不確実性を認識したプルーニングが、スパースニューラルネットワークを安全にデプロイするための有用なアプローチであることを示すために、コンピュータビジョンタスクでの実験を示す。
  論文  参考訳（メタデータ） (2024-08-08T21:29:20Z)
• CreINNs: Credal-Set Interval Neural Networks for Uncertainty Estimation in Classification Tasks [5.19656787424626]
  不確実性推定は、ニューラルネットワークの信頼性を向上させるためにますます魅力的なものになっている。 分類タスク用に設計された新しいクレーダセットインターバルニューラルネットワーク(CreINN)を提案する。
  論文  参考訳（メタデータ） (2024-01-10T10:04:49Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
  本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。 ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T19:13:33Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity [3.8673567847548114]
  逆例はニューラルネットワークの分類性能を低下させるのが容易である。 本研究は,ニューラルネットワークに対する漸進的拡散性に基づくロバスト性証明を提案する。
  論文  参考訳（メタデータ） (2021-11-25T04:42:57Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Improve Adversarial Robustness via Weight Penalization on Classification Layer [20.84248493946059]
  ディープニューラルネットワークは敵の攻撃に弱い。 近年の研究では、よく設計された分類部品がより堅牢性をもたらすことが示されている。 我々は,新しい軽量化防御法を開発した。
  論文  参考訳（メタデータ） (2020-10-08T08:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。