論文の概要: Transferring Adversarial Robustness Through Robust Representation Matching

• arxiv url: http://arxiv.org/abs/2202.09994v1
• Date: Mon, 21 Feb 2022 05:15:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 08:49:44.013113
• Title: Transferring Adversarial Robustness Through Robust Representation Matching
• Title（参考訳）: ロバスト表現マッチングによる逆ロバスト性伝達
• Authors: Pratik Vaishnavi, Kevin Eykholt, Amir Rahmati
• Abstract要約: アドリアリトレーニングは、ニューラルネットワークに対するこのような攻撃に確実に耐えられる数少ない既知の防御の1つである。 本稿では,ロバスト表現マッチング(RRM, Robust Representation Matching)を提案する。 RRMは、モデル性能と対向訓練時間の両方において優れている。
• 参考スコア（独自算出の注目度）: 3.5934248574481717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the widespread use of machine learning, concerns over its security and reliability have become prevalent. As such, many have developed defenses to harden neural networks against adversarial examples, imperceptibly perturbed inputs that are reliably misclassified. Adversarial training in which adversarial examples are generated and used during training is one of the few known defenses able to reliably withstand such attacks against neural networks. However, adversarial training imposes a significant training overhead and scales poorly with model complexity and input dimension. In this paper, we propose Robust Representation Matching (RRM), a low-cost method to transfer the robustness of an adversarially trained model to a new model being trained for the same task irrespective of architectural differences. Inspired by student-teacher learning, our method introduces a novel training loss that encourages the student to learn the teacher's robust representations. Compared to prior works, RRM is superior with respect to both model performance and adversarial training time. On CIFAR-10, RRM trains a robust model $\sim 1.8\times$ faster than the state-of-the-art. Furthermore, RRM remains effective on higher-dimensional datasets. On Restricted-ImageNet, RRM trains a ResNet50 model $\sim 18\times$ faster than standard adversarial training.
• Abstract（参考訳）: 機械学習の普及に伴い、そのセキュリティと信頼性に関する懸念が広まっている。 そのため、多くの人は、ニューラルネットワークを敵の例に対して強固にするための防御を開発してきた。 敵の例が生成され、訓練中に使用される敵の訓練は、ニューラルネットワークに対する攻撃に確実に耐えられる数少ない防御の1つである。 しかし、敵対的なトレーニングは大きなトレーニングのオーバーヘッドを課し、モデルの複雑さと入力次元に乏しいスケールを課している。 本稿では,アーキテクチャ上の差異にかかわらず,同じタスクのために訓練される新しいモデルに対して,敵対的に訓練されたモデルのロバスト性を伝達する低コストな手法であるロバスト表現マッチング(rrm)を提案する。 学生教師の学習に着想を得た本手法では,教師の頑健な表現を学ぶことを促す新しい学習損失を導入する。 従来の研究と比較すると、RCMはモデル性能と対向訓練時間の両方において優れている。 cifar-10では、rrmは最先端より高速なロバストモデル$\sim 1.8\times$を訓練する。 さらに、RRMは高次元データセットに有効である。 Restricted-ImageNetでは、RRMはResNet50モデル$\sim 18\times$を標準の敵トレーニングよりも高速にトレーニングする。

関連論文リスト

• Pruning Adversarially Robust Neural Networks without Adversarial Examples [27.952904247130263]
  敵の強靭性を維持しつつ、頑健なニューラルネットワークを創出する新しい枠組みを提案する。 我々は,Hilbert-Schmidt Information Bottleneck によるプルーンドモデルの正則化とともに,オリジナルのモデルの知識を維持するために,同時自己蒸留とプルーニングを活用する。
  論文  参考訳（メタデータ） (2022-10-09T17:48:50Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Adversarial Training with Stochastic Weight Average [4.633908654744751]
  ディープニューラルネットワークのアドリヤトレーニングは、しばしば深刻なオーバーフィッティング問題を経験する。 従来の機械学習では、データの不足から過度な適合を緩和する1つの方法は、アンサンブルメソッドを使用することである。 本稿では,重み平均(SWA)を用いた対向訓練を提案する。 対人訓練中に,訓練軌跡の時間的重み状態を集計する。
  論文  参考訳（メタデータ） (2020-09-21T04:47:20Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。