論文の概要: Pruning Adversarially Robust Neural Networks without Adversarial Examples

• arxiv url: http://arxiv.org/abs/2210.04311v1
• Date: Sun, 9 Oct 2022 17:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 14:21:04.593278
• Title: Pruning Adversarially Robust Neural Networks without Adversarial Examples
• Title（参考訳）: 逆例のない逆ロバストニューラルネットワークの動作
• Authors: Tong Jian, Zifeng Wang, Yanzhi Wang, Jennifer Dy, Stratis Ioannidis
• Abstract要約: 敵の強靭性を維持しつつ、頑健なニューラルネットワークを創出する新しい枠組みを提案する。 我々は,Hilbert-Schmidt Information Bottleneck によるプルーンドモデルの正則化とともに,オリジナルのモデルの知識を維持するために,同時自己蒸留とプルーニングを活用する。
• 参考スコア（独自算出の注目度）: 27.952904247130263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial pruning compresses models while preserving robustness. Current methods require access to adversarial examples during pruning. This significantly hampers training efficiency. Moreover, as new adversarial attacks and training methods develop at a rapid rate, adversarial pruning methods need to be modified accordingly to keep up. In this work, we propose a novel framework to prune a previously trained robust neural network while maintaining adversarial robustness, without further generating adversarial examples. We leverage concurrent self-distillation and pruning to preserve knowledge in the original model as well as regularizing the pruned model via the Hilbert-Schmidt Information Bottleneck. We comprehensively evaluate our proposed framework and show its superior performance in terms of both adversarial robustness and efficiency when pruning architectures trained on the MNIST, CIFAR-10, and CIFAR-100 datasets against five state-of-the-art attacks. Code is available at https://github.com/neu-spiral/PwoA/.
• Abstract（参考訳）: 逆プルーニングはロバスト性を維持しながらモデルを圧縮する。 現在の手法では、刈り込み中に敵の例にアクセスする必要がある。 これは訓練効率を著しく損なう。 また、新たな敵の攻撃や訓練方法が急速に発達するにつれて、敵の刈り取りの方法を変更する必要がある。 本研究では,従来トレーニングされていたロバストニューラルネットワークを,対角的ロバスト性を維持しつつ適用するための新しいフレームワークを提案する。 我々は,Hilbert-Schmidt Information Bottleneck によるプルーンドモデルの正規化とともに,オリジナルのモデルの知識を維持するために,同時自己蒸留とプルーニングを活用する。 MNIST, CIFAR-10, CIFAR-100データセットで訓練されたプレニングアーキテクチャの5つの最先端攻撃に対して, 本提案フレームワークを総合的に評価し, 高い性能を示す。 コードはhttps://github.com/neu-spiral/PwoA/で入手できる。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Soft Adversarial Training Can Retain Natural Accuracy [0.0]
  本研究では,制約条件下での頑健さを犠牲にすることなく,自然な精度を維持することができるトレーニングフレームワークを提案する。 我々のフレームワークは特に、ロバスト性と精度の適切なバランスを必要とする適度にクリティカルなアプリケーションをターゲットにしています。
  論文  参考訳（メタデータ） (2022-06-04T04:13:25Z)
• Finding Dynamics Preserving Adversarial Winning Tickets [11.05616199881368]
  プランニング法は, モデルキャパシティを低減し, 同時に対向ロバスト性を向上させるために, 対向文脈において検討されてきた。 既存の逆プルーニング法は、通常、3段階の「トレーニング・プルーニング・ファインチューニング」パイプラインに従う、自然訓練のための古典的なプルーニング法を模倣する。 我々は,AWTが対人訓練の力学を保ち,高密度対人訓練と同等の性能を発揮するという実証的証拠を示す。
  論文  参考訳（メタデータ） (2022-02-14T05:34:24Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。