論文の概要: Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness

• arxiv url: http://arxiv.org/abs/2206.07839v1
• Date: Wed, 15 Jun 2022 22:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:03:19.135815
• Title: Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness
• Title（参考訳）: リニアリティグラフト:リラクシドニューロンプルーニングは、ロバスト性を証明するのに役立つ
• Authors: Tianlong Chen, Huan Zhang, Zhenyu Zhang, Shiyu Chang, Sijia Liu, Pin-Yu Chen, Zhangyang Wang
• Abstract要約: 証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
• 参考スコア（独自算出の注目度）: 172.61581010141978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Certifiable robustness is a highly desirable property for adopting deep neural networks (DNNs) in safety-critical scenarios, but often demands tedious computations to establish. The main hurdle lies in the massive amount of non-linearity in large DNNs. To trade off the DNN expressiveness (which calls for more non-linearity) and robustness certification scalability (which prefers more linearity), we propose a novel solution to strategically manipulate neurons, by "grafting" appropriate levels of linearity. The core of our proposal is to first linearize insignificant ReLU neurons, to eliminate the non-linear components that are both redundant for DNN performance and harmful to its certification. We then optimize the associated slopes and intercepts of the replaced linear activations for restoring model performance while maintaining certifiability. Hence, typical neuron pruning could be viewed as a special case of grafting a linear function of the fixed zero slopes and intercept, that might overly restrict the network flexibility and sacrifice its performance. Extensive experiments on multiple datasets and network backbones show that our linearity grafting can (1) effectively tighten certified bounds; (2) achieve competitive certifiable robustness without certified robust training (i.e., over 30% improvements on CIFAR-10 models); and (3) scale up complete verification to large adversarially trained models with 17M parameters. Codes are available at https://github.com/VITA-Group/Linearity-Grafting.
• Abstract（参考訳）: 証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で非常に望ましい性質であるが、しばしば退屈な計算の確立を要求する。 主なハードルは、大規模なdnnにおける大量の非線形性である。 DNN表現性(より非線形性を求める)と堅牢性証明のスケーラビリティ(より線形性を好む)をトレードオフするために、我々は、適切な線形性のレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。 我々の提案の中核は、まず重要なReLUニューロンを線形化し、DNN性能に冗長で、その認証に有害な非線形成分を取り除くことである。 次に,代替リニアアクティベーションのスロープとインターセプトを最適化し,検証性を維持しつつモデル性能を回復する。 したがって、典型的なニューロンのプルーニングは、ネットワークの柔軟性を過度に制限し、性能を犠牲にする、固定されたゼロ勾配の線形関数を移植してインターセプトする特別なケースと見なすことができる。 複数のデータセットとネットワークのバックボーンに関する広範囲な実験により、線形性グラフトは(1)証明された境界を効果的に締め付けること、(2)証明された堅牢性のない競争力のある堅牢性を達成すること、(3)CIFAR-10モデルの30%以上の改善、(3)17Mパラメータを持つ大きな敵に訓練されたモデルに完全検証をスケールアップできることが示されている。 コードはhttps://github.com/VITA-Group/Linearity-Graftingで入手できる。

関連論文リスト

• Towards General Robustness Verification of MaxPool-based Convolutional Neural Networks via Tightening Linear Approximation [51.235583545740674]
  MaxLinは、線形近似が厳密なMaxPoolベースのCNNの堅牢性検証器である。 我々は、MNIST、CIFAR-10、Tiny ImageNetデータセットでトレーニングされたLeNetやネットワークを含むオープンソースのベンチマークでMaxLinを評価した。
  論文  参考訳（メタデータ） (2024-06-02T10:33:04Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Certifying Robustness of Convolutional Neural Networks with Tight Linear Approximation [5.678314425261842]
  Ti-Linは、コナールニューラルネットワークのロバスト性検証のためのタイト線形近似手法である。 本稿では,S字型アクティベーション関数に対する新しい線形制約を提案する。 MNIST、CIFAR-10、Tiny ImageNetデータセットで訓練された48種類のCNNで評価した。
  論文  参考訳（メタデータ） (2022-11-13T08:37:13Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。