論文の概要: HYDRA: Pruning Adversarially Robust Neural Networks

• arxiv url: http://arxiv.org/abs/2002.10509v3
• Date: Tue, 10 Nov 2020 15:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 02:43:17.472918
• Title: HYDRA: Pruning Adversarially Robust Neural Networks
• Title（参考訳）: HYDRA: 逆ロバストニューラルネットワーク
• Authors: Vikash Sehwag, Shiqi Wang, Prateek Mittal, Suman Jana
• Abstract要約: ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
• 参考スコア（独自算出の注目度）: 58.061681100058316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In safety-critical but computationally resource-constrained applications, deep learning faces two key challenges: lack of robustness against adversarial attacks and large neural network size (often millions of parameters). While the research community has extensively explored the use of robust training and network pruning independently to address one of these challenges, only a few recent works have studied them jointly. However, these works inherit a heuristic pruning strategy that was developed for benign training, which performs poorly when integrated with robust training techniques, including adversarial training and verifiable robust training. To overcome this challenge, we propose to make pruning techniques aware of the robust training objective and let the training objective guide the search for which connections to prune. We realize this insight by formulating the pruning objective as an empirical risk minimization problem which is solved efficiently using SGD. We demonstrate that our approach, titled HYDRA, achieves compressed networks with state-of-the-art benign and robust accuracy, simultaneously. We demonstrate the success of our approach across CIFAR-10, SVHN, and ImageNet dataset with four robust training techniques: iterative adversarial training, randomized smoothing, MixTrain, and CROWN-IBP. We also demonstrate the existence of highly robust sub-networks within non-robust networks. Our code and compressed networks are publicly available at \url{https://github.com/inspire-group/compactness-robustness}.
• Abstract（参考訳）: 安全性に批判的だが計算量に制約のあるアプリケーションでは、ディープラーニングは2つの重要な課題に直面している。 研究コミュニティは、これらの課題の1つに対処するために、ロバストなトレーニングとネットワークプルーニングの使用を独立に調査してきたが、それらを共同研究した最近の研究はごくわずかである。 しかし、これらの著作は良性訓練のために開発されたヒューリスティックな刈り取り戦略を継承しており、敵対的な訓練や検証可能な堅牢な訓練など、堅牢な訓練技術と統合した場合の成績が劣る。 この課題を克服するため,我々はプルーニング技術にロバストなトレーニング目標を認識させ,訓練対象にプルーンへの接続の探索を誘導させる。 我々は,この知見を,SGDを用いて効率的に解決した経験的リスク最小化問題として定式化した。 HYDRAと題する我々の手法は、最先端の良さと堅牢な精度で同時に圧縮されたネットワークを実現する。 CIFAR-10,SVHN,ImageNetの4つの頑健なトレーニング手法を用いて,CIFAR-10,SVHN,ImageNetデータセットに対するアプローチの成功を実証した。 また,非ロバストネットワークにおける高ロバストなサブネットワークの存在を実証する。 私たちのコードと圧縮されたネットワークは \url{https://github.com/inspire-group/compactness-robustness} で公開されている。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness [2.064612766965483]
  本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
  論文  参考訳（メタデータ） (2023-07-07T19:16:59Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Finding Dynamics Preserving Adversarial Winning Tickets [11.05616199881368]
  プランニング法は, モデルキャパシティを低減し, 同時に対向ロバスト性を向上させるために, 対向文脈において検討されてきた。 既存の逆プルーニング法は、通常、3段階の「トレーニング・プルーニング・ファインチューニング」パイプラインに従う、自然訓練のための古典的なプルーニング法を模倣する。 我々は,AWTが対人訓練の力学を保ち,高密度対人訓練と同等の性能を発揮するという実証的証拠を示す。
  論文  参考訳（メタデータ） (2022-02-14T05:34:24Z)
• Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks [13.863895853997091]
  一般的な宝くじ券の仮説とは別として、元の密集ネットワークや特定されたRTTをトレーニングする必要はない。 同一の高密度ネットワークから引き出された疎度比の異なるRTT間の逆転送性について検討した。 本稿では,Random RST Switch (R2S) 技術を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:52:56Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。